今天收到一个重磅消息就是淘宝对百度蜘蛛开放部分目录了，于是赶紧打开淘宝robots协议看看，果不其然，淘宝对百度开放了7个目录。

不重复抓取？有很多初学者可能会觉得。爬虫不是有深度优先和广度优先两种抓取策略吗？你这怎么又多出来一个不重复抓取策略呢？其实我这几天有不止一次听到 了有人说要在不同页面增加同一页面链接，才能保证收录。我想真能保证吗？涉及收录问题的不止是抓没抓吧？也从而延伸出今天的这篇文章，不重复抓取策略，以 说明在一定时间内的爬虫抓取是有这样规则的。