云企logo

云企分享专用缩略图

百度抓取异常的原因有哪些?

更新日期:2020-10-04  

百度抓取异常的原因有哪些?百度抓取异常是什么?简单理解就是百度的蜘蛛(baiduspider)无法正常抓取,就是百度抓取异常。百度抓取异常的原原因主要分两大类,一是网站异常,二是链接异常。在哪里看呢,在百度搜索资源平台添加后数据统计—抓取异常那里。

网站异常原因:

1、dns异常

当百度蜘蛛(Baiduspider)无法解析您网站的IP时,会出现DNS异常。可能是您的网站IP地址错误,或者域名服务商把Baiduspider封禁了。可以用WHOIS或者host查询自己网站IP地址是否正确而且可以解析,如果不正确或无法解析,与域名注册商联系,更新网站IP地址。

2、连接超时

抓取请求连接超时,可能原因是:服务器过载或网络不稳定。

3、抓取超时

抓取请求连接建立后,下载页面速度过慢,导致超时。可能原因服务器过载,带宽不足。

4、连接错误

无法连接或者连接建立后对方服务器拒绝。

链接异常原因:

1、访问被拒绝

爬虫发起抓取,httpcode返回码是403。

2、找不到页面

爬虫发起抓取,httpcode返回码是404。

3、服务器错误

爬虫发起抓取,httpcode返回码是5XX

4、其他错误

爬虫发起抓取,httpcode返回码是4XX,不包括 403 和404。

网站抓取异常的原因有哪些?

网站抓取异常的原因主要有以下五个方面:

1、服务器异常

服务器连接异常*大的可能是网站服务器过大,超负荷运转,通过检查浏览器输入你的域名是否正常访问。服务器异常会导致蜘蛛无法连接网站服务器,导致出现抓取失败。

2、域名过期

域名过期网站肯定不能访问,域名解析就会失效了。如果存在这类情况,你可以与你域名注册商联系解决,看是否被抢注,还是可以续费回来。

3、网络运营商异常

电信和联通这两种都是属于网络运营商,蜘蛛无法访问的网站。如果是因为电信或联通网络运营商出现问题,与网络服务运营商联系或者购买CDN服务。

3、robots.txt文件设置问题

robots.txt的功效主要是一些不重要的文件屏蔽掉告诉搜索引擎这些些页面可以不抓取,但也可能会存在把重要的页面也给屏蔽了,可以检查下robots文件设置。

4、死链接因素

原本正常的链接后来失效了就是死链接,死链接发送请求时,服务器返回 404 错误页面。死链的处理方案可以通过百度站长平台提交死链文件。

5、网站被挂马

网站被挂马,要查询挂马文件在哪里并删除。恢复网站,更改登录名和密码,安全密保要从新设置,防止下次被挂马。如果找不到,建议直接更换整个建站程序,换一个程序。

百度抓取异常的原因有哪些?以上就是对此做的详细介绍,如果网站上存在大量内容蜘蛛无法正常抓取,百度搜索引擎会认为网站给用户的体验上有缺陷(访问网站的用户没有得到想要的东西,用户的体验感就会下降)降低对网站的评价。而且,网站在抓取、索引、权重上都会受到一定程度的负面影响,更严重的会直接影响到网站从百度获取的流量。所以,百度网站抓取异常是非常严重的,一旦发现,尽量解决。

 

上一篇:百度旗下好看视频目前创作者已破百万

下一篇:网络营销中的几个常见基本术语
首页
电话咨询