轻松提高百度抓取频次过万方法「搬砖日记」

案例：百度蜘蛛会乱抓网站，id混乱，一篇文章在a目录下，他却还要抓别的目录下有没有相同id文章。百度蜘蛛明显有自动抓取连续ID的情况。

例如：一篇文章链接为 域名/栏目1/1.html,百度蜘蛛除了抓取该链接外还抓取域名/栏目2/1.html ， 域名/栏目3/1.html.....你有多少栏目蜘蛛就抓取多少个不同栏目 id相同的链接

实现方法：

第一步：利用cms把文章命名规则改成独一无二的目录，也就是一篇文章一个目录，例如：a/1.html ，b/2.html，以此类推。假如有1万篇文章就会存在1万个目录。文章越多抓取频次越高。

第二步：把所有百度抓取不存在的404页面随机301重定向到你的其他网站的没收录的高质量页面。

第三步：坐等蜘蛛抓取目标站，等收录

原作者：逐梦小生

网友：我觉得不太可行，实测除开网站权重之外，应该还有目录权重，xxx.com/a/栏目更新的质量较高，那么a栏目下的页面会比较容易获得比/b/目录更好的排名和收录~但是我确实也发现过【第一步】这种操作的站，快排，权重很好，正规站没见到过这样的玩法

标签： 抓取 栏目 目录 百度蜘蛛 一篇文章