当前位置:首页 > 站长资讯 > 正文

百度蜘蛛大量抓取不存在的页面,有遇到同样问题的吗?

2020-08-10 06:05:33 来源:奇澄网

蜘蛛抓取到的,说明肯定是有入口的,自己网站上面没有; 就可能是其他平台存在有外链、建议你把这些链接整理出来,去提交下死链接。 同时网站要做好404页面和404返回码,另外建议你更新下Sitemap,有可能Sitemap里面存在有这些链接。

看下蜘蛛返回码是不是404,404提交百度,找到出现404原因修补下,入口的话,蜘蛛只有进入你网站,就会抓取整站内容,除非你屏蔽!


Copyright © 2013-2020 All Rights Reserved 奇澄网 版权所有