商丘做网站,商丘网站优化,商丘网络推广,商丘网络公司
当前位置:首页 > 新闻资讯 > 网站优化 >

分析两个有特点网站的robots.txt写法

发表日期:2018-03-09 11:48聚圣源浏览次数: 本文关键词:分析,两个,有,特,点网,站seo,robots.txt,写

分析两个有特点网站的robots.txt写法

近几日有不少朋友反应,他们看了很多大站,robots的写法也是各有不同,有的不知道为什么要这么写,这样写robots针对seo的意义在哪里?

  今天seo知否小编分析2个站点,为大家详细解释,下面是干货时间:

  seo视频教程:robots.txt写法

  首先,咱们先看这个站点,他的robots写法是:

分析两个有特点网站的robots.txt写法

  红框括起来的,一看就知道这个站点是dedecms搭建的。下面还有2个就是站长本人创建。重点说一下:

  Disallow: /*?* 解释:url中只要包含了问号(“?”),那么将屏蔽蜘蛛的抓取

  Disallow: /*list* 解释:url中只要包含了list字符(“list”),那么将屏蔽蜘蛛的抓取

  详细解读:

  第一个,为什么屏蔽带“?”的url:因为带“?”的url都是动态地址,对搜索引擎并不友好,都晓得静态地址是对seo排名最好的。所以屏蔽带“?”的url是必须的。

  第二个,为什么屏蔽url中只要包含了list字符:因为带list的url,一般都是列表页,列表页都会有很多分页,而有分页的话,这些页面有一个共同点:title基本都是相同的,只是末尾会有不同的“第几页”,而这样会被搜索认为都是重复title,所以必须屏蔽。

  再来看一个大站,2345电影站,他的robots:

分析两个有特点网站的robots.txt写法

  大站的一个共同点:都屏蔽了带“?”url的抓取。而且屏蔽了:Disallow: /search_* 搜索结果页面的抓取。其他的不做多解释,屏蔽的目的只有一个:这些页面不想被搜索收录,因为这些页面不在参与排名的页面当中。

  再扩展点讲讲:当你要做某个网站时,网站搭建之初,网站关键词挖掘,布局,参与排名的页面(url)都有哪些,站内优化,站外优化的方式是什么。这些问题,在网站建设前就要部署计划好。所以说seo也是一个系统的工程。(成功之前,是要有准备、有铺垫。)

如没特殊注明,文章均来自网络! 转载请注明来自:http://www.jushengyuan.com.cn/news/wzyh/9973.html

网站设计案例推荐

热门文章

商丘做网站的公司:展柜设计网...

网络推广人员在进行SEO优化这一长期而系统的工程时,会出现一些在日常生活中常见但与优化中的意义完全不同的词语,读来让人倍感神秘而又十分有趣,现在就让小编带你去感受一下这些“神...

日期:2018-04-19 浏览次数:2199

2018年发博客外链对SEO还有效果吗...

博客群发软件可以让SEO外链员轻松了不少,自动或半自动化操作确实很方便。然而,随着百度算法的更新,这些博客群发软件产出的外链变得毫无价值,被称为了垃圾外链,不仅对网站...

日期:2018-03-19 浏览次数:2053

SEO外链优化策略:你还只看重收...

经常听到有人说SEO外链操作没用了,反正不管有没有用,岑辉宇依然每天坚持给自己的博客发布外链,效果的话仁者见仁智者见智了。很多人觉得发布外链没有用的原因,可能是因为搜...

日期:2018-03-12 浏览次数:1418

关于如何做好企业站SEO的日常工...

所谓知己知彼百战不殆,首先一定要知道自家站点的SEO综合信息,知道目前站点收录怎么样,当前的主词百度排名,友链状态,外链情况,另外可以用第三方的统计代码来查看自家站点...

日期:2018-09-19 浏览次数:1368

dede自带功能有助优化的细节之自...

dede自带功能有助优化的细节之自动补充全网址 使用dede的朋友都知道,默认的程序及模版生成出来的html页面是不带全网址的,例如下图: 有的朋友是通过修改模版来补充这个网址,直接...

日期:2018-03-30 浏览次数:1288

相关文章

幸之链原创:为什么网站要有友...

★ 为什么网站上会有友谊链接这一项 ★ 在陈腐的互联网生态里还没有网站的时间,创建网站是一个特殊新兴的互联网产物,这必要有专业知识的人才气完成,网站最早鼓起于小我私家...

日期:2018-11-02 浏览次数:70

网站SEO优化没有新方法 怎么办...

任何事物都在不停进化生长的,尤其是互联网的生长速率惊人,然而,仔细的站长会发明,有一项技能却不停处于停滞状态,正确的说,从移动互联网鼓起后,这项技能生长好像到了瓶...

日期:2018-11-02 浏览次数:75

优化网站首页和单页面优化有什...

网站优化仅仅是优化首页要害词吗?优化网站首页和单页面优化有什么差别吗? 本日,网站建设SEO自学网带来的是《优化网站首页和单页面优化有什么差别吗》。盼望本次的SEO咨询办事...

日期:2018-11-02 浏览次数:67

学会分析搜索结果,做SEO事半功...

作为一名SEO老鸟,笔者时常会一些关于搜刮引擎的题目,只管网站排款式前还算满足。比方说,站在百度的角度思索,百度怎么知道查询词的真实意图呢?搞清晰这个题目,对SEO优化偏向...

日期:2018-10-30 浏览次数:83

认识和理解网络爬虫有助于更好...

网络爬虫是SEO职员应该学习的底子知识之一,熟悉和明白网络爬虫有助于更好地优化网站。本日,网站建设SEO自学网带来的是《网络爬虫简介》。盼望本次的SEO技能培训对各人有所资助...

日期:2018-10-27 浏览次数:82

随机推荐

SEOer未来之路到底在哪里?...

除了写文章和发外链,你还会啥...

如何分析一个网站是否被攻击挂...

网站关键词就是做不上去的真正...

seo入门者应该学习和提升并重...

高大上的熊掌号搜索名片怎么设...