robots.txt对网站作用是十分大的 以前小编写了一篇不设置robots.txt会对收录比较好,可是小编自从挂上了蜘蛛插件发现搜索引擎一直在抓取robots.txt的内容,但是都是404排行第一小编测试新站没有设置robots.txt,写... 新锐 2020-10-10 319 #robots #robots.txt作用 #百度robots