robots.txt对网站作用是十分大的

以前小编写了一篇不设置robots.txt会对收录比较好，可是小编自从挂上了蜘蛛插件发现

搜索引擎一直在抓取robots.txt的内容，但是都是404排行第一

小编测试新站没有设置robots.txt，写完文章小编马上补上

可是真实情况是正常网站尽量设置robots.txt，这样才能快速告诉搜索引擎抓取那些内容

小编网站设置的robots内容如下，如果大家是织梦别的程序建议不要学习小编

还有zblog有个文章bug，channel.asp?id=文章id

如果是文章加入Disallow: channel.asp?id=*

这样就是限制搜索引擎抓取，channel.asp?id=一切文章

小编在研究蜘蛛池是否有用，明天就给大家第一时间发布

标签： robots robots.txt作用 百度robots