搜索引擎爬行的规律是什么？搜索引擎抓取网页的规律是什么？

选择字号：超大标准 发布时间：2014-8-15 11:10:35 | 作者：Searcheo | 0个评论 | 人浏览

本文地址：http://www.searcheo.cn/post/196.html 转载请注明出处！

当今两大最受欢迎的搜索引擎是google和百度。大多数人都知道搜索引擎收录页面是靠蜘蛛爬行来收录的。所以了解搜索引擎的变化是必需的。搜索引擎蜘蛛是人们编写出来的机器，肯定存在着某种规律。

一般情况下，一个新上线的网站需要一段时间才能被收录。当搜索引擎收录网站时，一般是从首页开始，接着顺着首页再进入内页。搜索引擎很花心，它不是一次性将网站全部爬行完，而是分不同的时间段进行爬行，然后计算出蜘蛛在网站的活动时间及时间的长短。新站的网页即使被爬行也不会马上被出来，需要经过搜索引擎反复计算，确认网站确实有必要收录，这时才会把网页放出来，通常新站的网站快照和收录页面都是晚一个月或者更久才会被放出来。

一定要牢记下面的这段话：在搜索引擎蜘蛛爬行网站的时候，千万不能出现网站打不开或者有死链的情况，如果出现这种情况，搜索引擎会中止对网站的爬行，以后什么时候再来就不一定了。

有很多人有一个不好的习惯，也有一个错误的思想，认为域名的年龄越长，越受到搜索引擎的欢迎。的确是这样的，但是有个前提，网站没有被过度优化、没有死链等。有好多人，网站刚刚做完首页，立刻上线，首页上的链接大部分都是死链，搜索引擎蜘蛛进入后，爬行网站还是原样，这样往返几次，搜索引擎蜘蛛会因为抓取不到新的有价值的内容，并且由于死链太多，会最终放弃爬行这个网站。

网站成功上线一段时间后，才会进入稳定阶段。百度和google会给新站一段时间的考核期，考核期通过后，才认为网站是一个长期的网站，这个时间为1-3个月或者更久。处在稳定期的网站，搜索引擎蜘蛛会经常来光顾，它们还是和初期阶段一样，从首页进入网站爬行。但是百度和google略有不同，如果百度发现网站首页的内容没有变化，会立刻停止爬行；而google不是这样，即使发现网站首页没有变化，还是照常顺着首页的链接继续自行，这就是有的时候网站google比百度收录页面多的原因之一。

这里强调一下，当更新网站的内容时，一定要在网站首页中显示出来，否则百度蜘蛛不会收录更新的网页，因为首页没有变化，百度蜘蛛不在内页爬行，所以不知道有新的网页产生。这也是有的企业网站常常犯的，首页的内容是死的，不能变化，导致网站的收录量一直没有变化。稳定阶段的网站快照和收录页面一般是近两天内被放出来的。

搜索引擎蜘蛛就是网站的上司，和上司搞好关系，在各个方面都会得到照顾；如果关系没有处到位。他会一直找你麻烦。搜索引擎也是一样，它对网站印象好，会经常来，经常更新网站的快照，经常收录网页，如果对网站印象不好，只要网站稍微有不好的地方，就会马上将网站封了。

标签：搜索引擎