百度一直只抓取首页是怎么回事呢？

大家下午好！今天给你们说说：“为什么百度一直在抓取你首页，却不抓取内页”

当然由于小波站点无法打开，只能用小编的网站给大家演示

首先你网站可能没有robots协议文件，可以去百度搜索robots生成即可

之前开始小编没有装蜘蛛插件，所以叫他大家不要设置robots是错误的

这个就等于去公园你没有门票并且没写什么套餐的，没robots就等于等公园下班

搜素引擎来访问都会首先看看你robots，设置robots之后去百度站长更新一下

百度站长工具可能经常抽风，不过你写了robots.txt放入网站根目录即可

一般要么你是新站所以百度会一直抓取你首页，所以要设置JS推送代码

标签： 百度抓取首页 百度蜘蛛抓取 蜘蛛抓取 robots重要性

赏