大家下午好!今天给你们说说:“为什么百度一直在抓取你首页,却不抓取内页”
当然由于小波站点无法打开,只能用小编的网站给大家演示
首先你网站可能没有robots协议文件,可以去百度搜索robots生成即可
之前开始小编没有装蜘蛛插件,所以叫他大家不要设置robots是错误的
这个就等于去公园你没有门票并且没写什么套餐的,没robots就等于等公园下班
搜素引擎来访问都会首先看看你robots,设置robots之后去百度站长更新一下
百度站长工具可能经常抽风,不过你写了robots.txt放入网站根目录即可
一般要么你是新站所以百度会一直抓取你首页,所以要设置JS推送代码
还木有评论哦,快来抢沙发吧~