在这些年的SEO诊断中，我这里发明不低于20%的网站都存在着一个严峻的抓取题目，但是希奇的是，却始终得不到大多数人的器重。而研究透彻并分享这个题目的人，更是没有发明。本日这篇文章，我们就来看一下这个题目。

什么题目呢?

毗连超时，大概抓取超时，假如你的网站出现过这个题目，至今没有处置惩罚到位的，就把这篇文章转载一下吧。

许多人说，不就是几十次的超时吗?有什么大不了的，假如如许以为，那么真的是该死网站做欠好了，正常的网站是什么样的呢?我们来举个例子：

这是一个权重4的站点，哪怕十多万次的抓取，却仍然没有出现过一次的抓取错误!假如你的逐日抓取错误量凌驾10次(十天半个月就出现一次错误，大概一连多天出现的)，就真的应该严厉处置惩罚一下这个题目了，由于当前题目的存在，已经恒久的制约了网站的生长上限，乃至由于这个题目，诱发网站的降权，都一点不希奇。

为什么会堕落?

有新乐人说，不消剖析，这就是一个BUG，由于我在网站的LOG日记中，并没有发明这个题目。之前在百度站长的VIP群里，有人如许表明过。但是我想说的是：百度无法抓取到网站，你的网站LOG日记，能统计到如许的错误吗?以是，上述表明是完全说不外去的。

那么，为什么会出现如许的错误呢?

A，DNS题目，无论是蜘蛛照旧用户访问网站，起首就必要域名的DNS做了精确的剖析，然而剖析是剖析了，你能确定DNS真的稳固吗?不少站点的错误，正是由于DNS不稳固而造成的。尤其是那些又做域名注册，又搞‘域名抢注’的平台，如许的平台，更轻易出现DNS剖析不稳固的环境，尤其是在抢注岑岭期。详细哪些品牌，这个就不点名了，假如你的域名在这些平台中，贺贵江猛烈发起你将其转出。

B，页面太大，有一些网站的部门页面到达了四五六七八兆的环境，乃至还见过少少的网站出现过一个页面有10MB巨细。如许的页面，更轻易出现链接超时。正常环境，并不发起网站的页面巨细凌驾3MB，同时发起网站办事器启用GZIP压缩。

C，带宽不敷，这是一个很常见的环境，不少站点出现链接超时都是由于带宽不敷而引发的。我们知道1M的带宽峰值下载是128KB，假如网站是1M接入，页面巨细是256KB，假如同时2小我私家在打开页面，那么就必要4秒才可以下载完毕。假如带宽是2MB，页面巨细是1024KB，一小我私家打开网站必要8秒，可假如是10小我私家同时打开呢?以是带宽这里，肯定要做足。站长大概企业都应当视察一下站点的均匀带宽，以及峰值带宽环境，假如常常出现‘带宽峰值’范例的访问，那么就肯定要升级带宽了。

D，首字节时间，大概许多同砚没有听说过这个题目，它指的是从发送哀求到WEB办事器的时间+WEB办事器处置惩罚哀求并天生相应耗费的时间。有一些站点，首字节时间居然都可以到达5MS，如许的环境，网站还能正常吗?

1、对付首字节时间这里，我们应当留意：制止网站与其他网站共享同一个办事器其他网站会占用自身网站办事器处置惩罚时间。

2、CDN淘汰内容和访问者之间的“间隔”将静态内容分发到CDN，CDN的内容主动复制到各个位置，在地理上更靠近用户，从而淘汰TTFB的时间。留意的是，已定要设置‘缓存时间’针对付网站访问较慢的页面或栏目。

3、制止网站利用假造主机体系如网站在一段时间未有流量产生，体系会推迟或停息假造办事器，当新访客进入时，将重新举行办事器备份处置惩罚(10s或更长时间);

4、后端优化软件性能淘汰办事器天生的相应到欣赏器的时间，好比：操纵码缓存、办事器端缓存、当地缓存、W3总缓存等。

末了，我们总结一下：

起首是为网站找一家靠谱的DNS办事商，我们发起是阿里云，其次是稳固的CDN办事商，阿里、百度智能云、腾讯云，都可以。末了就是网站办事器，只管不要选择利用假造主机，且只管制止多个站点利用雷同办事器。

作者：贺贵江

泉源：卢松松博客，接待分享