商丘做网站,商丘网站优化,商丘网络推广,商丘网络公司
当前位置:首页 > 新闻资讯 > 网站优化 >

商丘网站seo优化:搜索引擎蜘蛛是如何爬行与抓取页面的?

发表日期:2018-08-14 08:56聚圣源浏览次数: 本文关键词:商丘,网站,seo,优化,搜索引擎,蜘蛛,是,如何,

  搜索引擎蜘蛛,在搜索引擎系统中又被称之为“蜘蛛”或“机器人”,是用来爬行和访问页面的程序。

  今天,seo优化为大家带来的是《搜索引擎蜘蛛是如何爬行与抓取页面的》教程。希望对大家有所帮助。

商丘网站seo优化:搜索引擎蜘蛛是如何爬行与抓取页面的?

  一、搜索引擎蜘蛛简介

  搜索引擎蜘蛛,在搜索引擎系统中又被称之为“蜘蛛”或“机器人”,是用来爬行和访问页面的程序。

  ① 爬行原理

  搜索引擎蜘蛛访问网页的过程,就好比用户使用的浏览器。

  搜索引擎蜘蛛向页面发出访问请求,该页面的服务器则返回该页面的HTML代码。

  搜索引擎蜘蛛将收到的HTML代码存入搜索引擎的原始页面数据库中。

  ② 如何爬行

  为了提高搜索引擎蜘蛛的工作效率,通常采用多个蜘蛛并发分布爬行。

  同时,分布爬行还分为两种模式:深度优先和广度优先。

  深度优先:沿着发现的链接一直爬行,直到没有任何链接。

  广度优先:先这一页面上的所有链接爬行完毕之后,才会沿着第二层页面继续这样爬行。

  ③ 蜘蛛必遵守的协议

  搜索引擎蜘蛛在访问网站之前,都会先访问网站根目录下的robots.txt文件。

  搜索引擎蜘蛛不会去抓取robots.txt文件中禁止爬行的文件或目录。

  ④ 常见搜索引擎蜘蛛

  百度蜘蛛:Baiduspider

  谷歌蜘蛛:Googlebot

  360蜘蛛:360Spider

  SOSO蜘蛛:Sosospider

  有道蜘蛛:YoudaoBot,YodaoBot

  搜狗蜘蛛:Sogou News Spider

  必应蜘蛛:bingbot

  Alexa蜘蛛:ia_archiver

  二、如何吸引更多搜索引擎蜘蛛

  互联网信息爆炸,搜索引擎蜘蛛不可能将所有网站的所有链接全部爬行到,那么如何吸引更多的搜索引擎蜘蛛到我们网站上来爬行变得非常重要。

  ① 导入链接

  无论是外部链接,还是内部链接,只有有导入,才能被搜索引擎蜘蛛知道该页面的存在。所以,多多做外链建设有助于吸引更多蜘蛛来访。

  ② 页面更新频率

  页面更新频率越高,搜索引擎蜘蛛来访的次数也会越多。

  ③ 网站和页面权重

  整个网站的权重以及某一页面的权重(包括首页也是页面)影响着蜘蛛的来访频率,权重高、权威性强的网站一般都会增加搜索引擎蜘蛛的好感。

  ④ 与首页的距离

  首页>一级目录>二级目录>三级目录>四级目录…很显然,目录越深蜘蛛来访的几率和次数就会越少,因为一般外链都是指向首页的,首页再向下爬行,只会越来越少。

  这里给大家的建议是,做外链的时候,不要只做首页外链,偶尔做一做栏目和聚合页面的外链也还是不错的哦~

  有些时候,URL短,蜘蛛可能也会觉得这个链接的权重哦,所以,最好只做一级栏目,然后就是文章页面。

  三、搜索引擎蜘蛛地址库

  搜索引擎蜘蛛有一个专门的地址库,用来存放已经被发现的URL(已被抓取和未被抓取的都算,只要是被发现的URL都算),这样就不会出现重复爬行和抓取页面的情况了。

  ① 地址库URL来源

  蜘蛛抓取的页面中发现的新的URL;

  站长后台自主提交的URL;

  站长后台提交的XML地图中的URL;

  站长后台提交的网站URL;

  ② 对于未被抓取的URL

  对于未被抓取的URL,不管是以什么方式获取的,哪怕是搜索引擎蜘蛛自己发现的,也会先放入地址库中,然后在做统一抓取。

  四、页面数据存储

  搜索引擎蜘蛛将抓取的页面数据会存入搜索引擎的原始页面数据库中,其实,就可以理解为快照中看到的页面数据,和用户看到的是一样的,每一个页面的URL地址都有一个唯一的编号。

  五、复制内容检测

  搜索引擎蜘蛛在爬行的过程中,会进行一定程度的复制内容检测。如果是权重低的网站上,发现了大量的转载或抄袭内容时,可能会停止爬行,这些页面可能也会不抓取与收录。

  但并不是说网站就不能转载,像一些权重很高的平台,哪怕是转载了一篇旧闻排名也可以很好,因为搜索引擎蜘蛛可能会觉得,就算是旧闻可能也是高质量的吧。

  以上就是seo优化为大家带来的是《搜索引擎蜘蛛是如何爬行与抓取页面的》教程。感谢您的观看。

如没特殊注明,文章均来自网络! 转载请注明来自:http://www.jushengyuan.com.cn/news/wzyh/10237.html

网站设计案例推荐

热门文章

商丘做网站的公司:展柜设计网...

网络推广人员在进行SEO优化这一长期而系统的工程时,会出现一些在日常生活中常见但与优化中的意义完全不同的词语,读来让人倍感神秘而又十分有趣,现在就让小编带你去感受一下这些“神...

日期:2018-04-19 浏览次数:2173

2018年发博客外链对SEO还有效果吗...

博客群发软件可以让SEO外链员轻松了不少,自动或半自动化操作确实很方便。然而,随着百度算法的更新,这些博客群发软件产出的外链变得毫无价值,被称为了垃圾外链,不仅对网站...

日期:2018-03-19 浏览次数:2043

SEO外链优化策略:你还只看重收...

经常听到有人说SEO外链操作没用了,反正不管有没有用,岑辉宇依然每天坚持给自己的博客发布外链,效果的话仁者见仁智者见智了。很多人觉得发布外链没有用的原因,可能是因为搜...

日期:2018-03-12 浏览次数:1411

关于如何做好企业站SEO的日常工...

所谓知己知彼百战不殆,首先一定要知道自家站点的SEO综合信息,知道目前站点收录怎么样,当前的主词百度排名,友链状态,外链情况,另外可以用第三方的统计代码来查看自家站点...

日期:2018-09-19 浏览次数:1351

dede自带功能有助优化的细节之自...

dede自带功能有助优化的细节之自动补充全网址 使用dede的朋友都知道,默认的程序及模版生成出来的html页面是不带全网址的,例如下图: 有的朋友是通过修改模版来补充这个网址,直接...

日期:2018-03-30 浏览次数:1269

相关文章

【北京网络推广】近期部分网站...

近期, 漳平 部分网站文章排名下降,不再保持着关键词库稳定持续增多的态势。 今天,小小课堂SEO自学网带来的是《近期部分网站关键词库量大减的原因》。希望对大家有所帮助。...

日期:2018-09-20 浏览次数:67

【山东网络营销】网站页面必须...

网站页面设计直接影响着用户和搜索引擎友好度, 德惠 2018年,我们应按照《熊掌号SEO指南2.0》来设计网站页面。今天,小小课堂SEO自学网带来的是《网站页面必须注意的4个小细节!》...

日期:2018-09-19 浏览次数:68

【夏邑网站建设】SEO顶级技巧:...

相信很多做SEO工作的朋友都跟如风SEO一样, 灯塔 就是会没事的时候去百度搜索一下SEO这个关键词,去看看排名靠前的网站有哪些,其中有一家叫做顺时的网络公司吸引到了我,因为据...

日期:2018-09-19 浏览次数:65

【海南做网站】新域名新站被无...

降权对于站长来讲是一件可怕而又不敢想的事, 温岭 作为站长来讲辛苦运营网站一旦惨遭降权,那么付出的所有努力都将白费,当然曾经的降权是由于站长优化不当导致,网站被降权...

日期:2018-09-19 浏览次数:65

【民权网站制作】网站地区词优...

优化地区词到底有哪些SEO技巧呢?常见的优化方式又是什么呢?今天, 延安 小小课堂SEO自学网带来的是《地区词优化干货分享-小小课堂SEO秘籍》。希望本次的SEO秘籍对大家有所帮助。 一...

日期:2018-09-19 浏览次数:73

随机推荐

底层SEO从业者的困局:笼中鸟需...

学习SEO必备的7个技能...

非SEO关键因素:深析影响网站排...

百度MIP技术强势来袭 带你的网页...

SEO人员:如何写出搜索引擎与新...

网站排到首页需要高技能的SEO专...