商丘做网站,商丘网站优化,商丘网络推广,商丘网络公司
当前位置:首页 > 新闻资讯 > 网站优化 >

分析两个有特点网站的robots.txt写法

发表日期:2018-03-09 11:48聚圣源浏览次数: 本文关键词:分析,两个,有,特,点网,站seo,robots.txt,写

分析两个有特点网站的robots.txt写法

近几日有不少朋友反应,他们看了很多大站,robots的写法也是各有不同,有的不知道为什么要这么写,这样写robots针对seo的意义在哪里?

  今天seo知否小编分析2个站点,为大家详细解释,下面是干货时间:

  seo视频教程:robots.txt写法

  首先,咱们先看这个站点,他的robots写法是:

分析两个有特点网站的robots.txt写法

  红框括起来的,一看就知道这个站点是dedecms搭建的。下面还有2个就是站长本人创建。重点说一下:

  Disallow: /*?* 解释:url中只要包含了问号(“?”),那么将屏蔽蜘蛛的抓取

  Disallow: /*list* 解释:url中只要包含了list字符(“list”),那么将屏蔽蜘蛛的抓取

  详细解读:

  第一个,为什么屏蔽带“?”的url:因为带“?”的url都是动态地址,对搜索引擎并不友好,都晓得静态地址是对seo排名最好的。所以屏蔽带“?”的url是必须的。

  第二个,为什么屏蔽url中只要包含了list字符:因为带list的url,一般都是列表页,列表页都会有很多分页,而有分页的话,这些页面有一个共同点:title基本都是相同的,只是末尾会有不同的“第几页”,而这样会被搜索认为都是重复title,所以必须屏蔽。

  再来看一个大站,2345电影站,他的robots:

分析两个有特点网站的robots.txt写法

  大站的一个共同点:都屏蔽了带“?”url的抓取。而且屏蔽了:Disallow: /search_* 搜索结果页面的抓取。其他的不做多解释,屏蔽的目的只有一个:这些页面不想被搜索收录,因为这些页面不在参与排名的页面当中。

  再扩展点讲讲:当你要做某个网站时,网站搭建之初,网站关键词挖掘,布局,参与排名的页面(url)都有哪些,站内优化,站外优化的方式是什么。这些问题,在网站建设前就要部署计划好。所以说seo也是一个系统的工程。(成功之前,是要有准备、有铺垫。)

如没特殊注明,文章均来自网络! 转载请注明来自:http://www.jushengyuan.com.cn/news/wzyh/9973.html

网站设计案例推荐

热门文章

商丘做网站的公司:展柜设计网...

网络推广人员在进行SEO优化这一长期而系统的工程时,会出现一些在日常生活中常见但与优化中的意义完全不同的词语,读来让人倍感神秘而又十分有趣,现在就让小编带你去感受一下这些“神...

日期:2018-04-19 浏览次数:2173

2018年发博客外链对SEO还有效果吗...

博客群发软件可以让SEO外链员轻松了不少,自动或半自动化操作确实很方便。然而,随着百度算法的更新,这些博客群发软件产出的外链变得毫无价值,被称为了垃圾外链,不仅对网站...

日期:2018-03-19 浏览次数:2043

SEO外链优化策略:你还只看重收...

经常听到有人说SEO外链操作没用了,反正不管有没有用,岑辉宇依然每天坚持给自己的博客发布外链,效果的话仁者见仁智者见智了。很多人觉得发布外链没有用的原因,可能是因为搜...

日期:2018-03-12 浏览次数:1411

关于如何做好企业站SEO的日常工...

所谓知己知彼百战不殆,首先一定要知道自家站点的SEO综合信息,知道目前站点收录怎么样,当前的主词百度排名,友链状态,外链情况,另外可以用第三方的统计代码来查看自家站点...

日期:2018-09-19 浏览次数:1351

dede自带功能有助优化的细节之自...

dede自带功能有助优化的细节之自动补充全网址 使用dede的朋友都知道,默认的程序及模版生成出来的html页面是不带全网址的,例如下图: 有的朋友是通过修改模版来补充这个网址,直接...

日期:2018-03-30 浏览次数:1269

相关文章

【海南网络公司】新手学SEO之乱...

前几天有个新手SEO问我,说他发现一个网站,标题和搜索词完全不沾边,却排名非常好,请教这种算不算黑帽SEO,是怎么做到的,他很想学。 他搜索的关键词是:SEO顾问服务,然后排名...

日期:2018-09-18 浏览次数:65

【云南网站优化】网站的优化工...

现在很多企业都做了SEO优化推广,大部分都选择了外包给网络公司,外包给网络公司受到很大的局限性,因此很多企业都想拥有自己的优化团队,那么网站的优化工作内容有哪些呢?如何...

日期:2018-09-18 浏览次数:65

【山东网络营销】熊掌号:博客...

随着新媒体平台的发展,基于互联网的营销推广变得多样化,虽然,博客是传统信息传播的媒介,但时至今日,特别是熊掌号上线以来,仍然发挥着重要的作用。 那么,熊掌号:博客优...

日期:2018-09-15 浏览次数:68

【云南网络营销】为什么说SEO无...

一直爱好SEO,渐渐地发现了一些SEO现象,对这些现象思考之后,渐知搜索引擎挺有趣的,SEO的规则很多时候特别人性化,很多人想通过某一个窍门,把SEO做好,大部分都是徒劳,为什么...

日期:2018-09-14 浏览次数:67

【广西做网站】黑帽seo的网站有...

小程序创业扶持计划 实现月入10万创业梦 黑帽seo的网站挺常见,俗话说有白就有黑,同是技术,不作比较,仁者见仁智者见智。今天,小小课堂SEO自学网带来的是《黑帽seo的网站有哪些...

日期:2018-09-07 浏览次数:66

随机推荐

非SEO关键因素:深析影响网站排...

底层SEO从业者的困局:笼中鸟需...

百度MIP技术强势来袭 带你的网页...

SEO人员:如何写出搜索引擎与新...

学习SEO必备的7个技能...

网站排到首页需要高技能的SEO专...