商丘做网站,商丘网站优化,商丘网络推广,商丘网络公司
当前位置:

浅谈百度爬虫的HTTP状态码返回机制

发表日期:2022-04-21 10:46聚圣源浏览次数: 本文关键词:爬虫,返回,网页,抓取,站点,访问,短期内,含义

研究seo的一定很了解下面这些返回码的含义了,对于这些不是很熟悉的朋友也应该了解一下基本的比如200是请求成功,301重定向,404找不到等等。下面首先会介绍一下百度对于各个状态吗的处理逻辑。

百度 spider 对常用的 http 返回码的处理逻辑是这样的 :

404 404返回码的含义是“NOT FOUND”,百度会认为网页已经失效,那么通常会从搜索结果中删除,并且短期内spider再次发现这条url也不会抓取。

503 503返回码的含义是“Service Unavailable”,百度会认为该网页临时不可访问,通常网站临时关闭,带宽有限等会产生这种情况。对于网页返回503,百度spider不会把这条url直接删除,短期内会再访问。届时如果网页已恢复,则正常抓取;如果继续返回503,短期内还会反复访问几次。但是如果网页长期返回503,那么这个url仍会被百度认为是失效链接,从搜索结果中删除。

403 403返回码的含义是“Forbidden”,百度会认为网页当前禁止访问。对于这种情况,如果是新发现的url,百度spider暂不 会抓取,短期内会再次检查;如果是百度已收录url,当前也不 会直接删除,短期内同样会再访问。届时如果网页允许访问, 则正常抓取;如果仍不允许访问,短期内还会反复访问几次。 但是如果网页长期返回403,百度也会认为是失效链接,从搜索结果中删除。

301 301返回码的含义是“Moved Permanently”,百度会认为 网页当前跳转至新url。当遇到站点迁移,域名更换、站点改版的情况时,推荐使用301返回码,尽量减少改版带来的流量损 失。虽然百度spider现在对301跳转的响应周期较长,但我们 还是推荐大家这么做。

如果站点临时关闭,当网页不能打开时,不要立即返回404,建议使用503状态。503可以告知百度spider该页面临时不可访问,请过段时间再重试。

如果百度spider对您的站点抓取压力过大,请尽量不要使用404,同样建议返回503。这样百度spider会过段时间再来尝试抓取这个链接,如果那个时间站点空闲,那它就会被成功抓取了。

有一些网站希望百度只收录部分内容,例如审核后的内容,累积一段时间的新用户页等等。在这种情况,建议新发内容暂时返回403,等审核或做好处理之后,再返回正常状态的返回码。

站点迁移,或域名更换时,请使用301返回码。

如没特殊注明,文章均来自网络! 转载请注明来自:http://www.jushengyuan.com.cn/news/wzyh/1769.html

网站设计案例推荐

热门文章

企业站可以做聚合页面吗 一般怎...

企业站可以做聚合页面吗? 企业网站可以做聚合页面吗?看网上说基本只有大平台网站才做聚合页面,少于5000个页面就不要做聚合页面是这样的吗? 其实不是。 企业站也可以做聚合页面啊。 比...

日期:2021-02-19 浏览次数:7998

百度搜索结果右侧的相关企业怎...

今天和大家聊聊百度搜索结果右侧的相关企业怎么做的? 首先小编先为大家更正一个错误,搜索结果右侧的相关企业,不是怎么做的,而是不能做。因为他是搜索引擎根据多维度分析后自动推荐的...

日期:2020-11-30 浏览次数:7998

SEO必须了解的网站微调...

当我们优化网站一段时间,应该对现在网站结构、关键词布局、内链建设、首页丰富度、TDK等基本参数等需要进一步调整。当初建立网站所有的优化策略,都是依据以往的实操经验,和现有的用户...

日期:2021-01-30 浏览次数:7996

“SEO+营销”融合,推动企业网络...

网络营销作为当前企业发展中十分重要的推广模式,而今在很多行业都备受众多企业的认可和青睐,而今选择做网络推广排名的企业数量也变得越来越多,通过优质网站排名优化效果,也可以给企...

日期:2021-01-30 浏览次数:7996

详谈百度排名必懂的算法...

网站排名,并不是只做好某一个方面的操作,搜索引擎的算法每天都会更新,针对各行业会有不同的更新周期,能否获取好的排名,先要问问对搜索引擎了解多少,目前90%搜索是信息搜索,但是价...

日期:2021-01-20 浏览次数:7996

相关文章

seo优化设置标题要注意这几点...

众所周知,对于页面优化来说网页标题还是非常重要的,因为网站标题要概括文章中心思想,在设置网页标题时,广西seo优化还要从用户搜索习惯与关键词等方面进行考虑设置标题。 1.不做网页标...

日期:2020-11-25 浏览次数:7140

网站优化如何修改网站已经收录...

我们每一位优化师为了能够让网站的排名迅速提升,都会向网站上上传一些高质量文章。做合肥网站优化的时候难免我们文章内容需要更改,那么收录后的文章我们应该怎样去修改呢? 更改的幅度...

日期:2020-11-25 浏览次数:6958

seo网站优化成功的三要素...

从基本的来讲,一个网站的建立往往只需要三个基本的能力,通俗点说也就是我们经常讲的网站元素:内容、设计和技术。尽管这三个元素非常简单,但要将这三个元素紧密结合起来比想象中的要...

日期:2020-11-25 浏览次数:6201

seo蜘蛛抓取工作原理详解 seo服务...

为什么做SEO优化需要来了解搜索引擎蜘蛛的爬取规则?原因在于网站的收录决定索引,索引决定网站排名,而网站排名又决定着SEO优化结果的好坏,并且还决定了公司业务的的获客、转化、成交量等...

日期:2020-11-25 浏览次数:6106

seo优化让蜘蛛经常来的方法...

对于seoer来说,对搜索引擎爬虫都应该有所了解,因为在进行seo优化时都会和搜索引擎爬虫有所接触,所以我们要了解搜索引擎爬虫的工作原理。seo优化外包公司今天来给大家介绍一下。 什么是搜...

日期:2020-11-26 浏览次数:7013

随机推荐

SEO问答:新站收录首页多久?百...

如何把网站流量做到一万 全文...

五个网站外链建设的方法...

逆冬:9月第1天,5个SEO社群小问...

为什么我一直坚持白帽SEO...

百度会区别对待不同域名前后缀...