robots.txt对网站作用是十分大的

新锐 212 0

robots.txt对网站作用是十分大的-第1张图片-新锐站长网

以前小编写了一篇不设置robots.txt会对收录比较好,可是小编自从挂上了蜘蛛插件发现

搜索引擎一直在抓取robots.txt的内容,但是都是404排行第一

小编测试新站没有设置robots.txt,写完文章小编马上补上

可是真实情况是正常网站尽量设置robots.txt,这样才能快速告诉搜索引擎抓取那些内容

robots.txt对网站作用是十分大的-第2张图片-新锐站长网

小编网站设置的robots内容如下,如果大家是织梦别的程序建议不要学习小编

还有zblog有个文章bug,channel.asp?id=文章id

如果是文章加入Disallow: channel.asp?id=*

这样就是限制搜索引擎抓取,channel.asp?id=一切文章

小编在研究蜘蛛池是否有用,明天就给大家第一时间发布

标签: robots robots.txt作用 百度robots

发表评论 (已有0条评论)

还木有评论哦,快来抢沙发吧~