商丘做网站,商丘网站优化,商丘网络推广,商丘网络公司
当前位置:首页 > 新闻资讯 > 建站经验 >

利用robots文件做seo优化,让蜘蛛更好的抓取网站

发表日期:2017-07-01 07:43聚圣源浏览次数: 本文关键词:robots标签,搜索引擎蜘蛛

 

  robots文件存在于网站根目录,是用来告诉百度蜘蛛那些应该抓取,那些不应该抓取。正确使用robots文件有助于做好seo优化,robots文件的核心词汇就是allow和disallow用法。百度官网是认可这个文件的,在百度站长平台上也有robots这个栏目,点击进入,就可以看到你网站robots文件是否编写正确了。

  百度robots文件使用说明

  1、robots.txt可以告诉百度您网站的哪些页面可以被抓取,哪些页面不可以被抓取。

  2、您可以通过Robots工具来创建、校验、更新您的robots.txt文件,或查看您网站robots.txt文件在百度生效的情况。

  3、Robots工具暂不支持https站点。

  4、Robots工具目前支持48k的文件内容检测,请保证您的robots.txt文件不要过大,目录最长不超过250个字符。

  

利用robots文件做seo优化,让蜘蛛更好的抓取网站

 

  上图我给的一个例子中,disallow语句有问题,原因是把英文的冒号写成了中文的冒号。

  当然直接输入网站根目录加上robtots.txt文件也可以

  

利用robots文件做seo优化,让蜘蛛更好的抓取网站

 

  User-agent:*   是用来置顶那些搜索引擎蜘蛛可以抓取的,一般默认设置

  Disallow:/category/*/page/ 分类目录下面翻页后的链接,比如,进入校赚网分类目录 "推广运营经验"目录后,在翻页一次,就成了 stcash.com/category/tuiguangyunying/page/2形式了

  Disallow:/?s=* Disallow:/*/?s=*  搜索结果页面和分类目录搜索结果页面,这里没必要再次抓取。

  Disallow:/wp-admin/ Disallow:/wp-content/ Disallow:/wp-includes/   这三个目录是系统目录,一般都是屏蔽蜘蛛抓取

  Disallow:/*/trackback  trackback的链接

  Disallow:/feed Disallow:/*/feed Disallow:/comments/feed  订阅链接

  Disallow:/?p=*   文章短链接,会自动301跳转到长连接

  例如,朱海涛博客之前就被收录过短连接

  

利用robots文件做seo优化,让蜘蛛更好的抓取网站

 

  Disallow:/*/comment-page-*   Disallow:/*?replytocom* 这两个我在之前文章有过说明,来自于评论链接,很容易造成重复收录。

  在robots.txt文件的最后还可以制定sitemap文件 Sitemap:http://***.com/sitemap.txt

  sitemap地址指令,主流是txt和xml格式。在这里分享一段张戈所写txt格式的simemap文件。

  将上述代码保存到txt文件,上传到根目录,并且在robots.txt文件中指定即可

  这里给大家共享下我的robots.txt文件

  User-agent: *

  Disallow:/wp-admin/

  Disallow: /*/comment-page-*

  Disallow: /*?replytocom*

  Disallow: /wp-content/

  Disallow: /wp-includes/

  Disallow: /category/*/page/

  Disallow: /*/trackback

  Disallow: /feed

  Disallow: /*/feed

  Disallow: /comments/feed

  Disallow: /?s=*

  Disallow: /*/?s=*\

  Disallow: /attachment/

  Disallow: /tag/*/page/

  Sitemap: http://www.stcash.com/sitemap.xml

  来源:校赚网朱海涛(微信:81433982),原创文章如转载,请注明本文链接: http://www.stcash.com/5564

如没特殊注明,文章均来自网络! 转载请注明来自:http://www.jushengyuan.com.cn/news/jzjy/4455.html

网站设计案例推荐

热门文章

站长工具综合查询里面SSL证书不...

SSL证书不安全是怎么回事?但是点进去这个提示后,显示的是别人的tdk是不是被劫持或者被黑了?...

日期:2018-03-27 浏览次数:1932

简洁而实用的版权信息可增色网...

打开网站,人们自然会从上往下浏览,首先映入眼帘的一定是BANNER主视觉,然后是网站主体内容部分。相比较而言,注意到网站底部版权信息的浏览者确实不多,但这并说明网站版权信...

日期:2018-09-20 浏览次数:1889

网站设计需要注意的3点问题...

对于网站设计来讲会受到很多因素的影响,而且不同类型的网站,在设计时需要体现的元素也不一样,比如说对于一个企业网站更想体现出品牌以及产品的特点,主要是对产品、企业信...

日期:2018-02-12 浏览次数:1809

企业网站为什么要改版 改版选择...

网站改版,是每个建站企业必须面临的工作。相信也有不少站长问,已经做好的企业网站,为何还要大费周章重新进行改版设计呢?下面小编就来给大家说说,企业究竟为什么要改变,并...

日期:2018-03-26 浏览次数:1345

永城网站制作:模板建站不可不...

随着互联网建站尤其是自助建站热潮不断高涨,建站行业涌现出越来越多的自助建站平台,这些平台普遍都提供网站模板可选。...

日期:2018-04-30 浏览次数:940

相关文章

网站上线前把robots写了所有蜘蛛...

不知道有没有其他站长跟我一样,技术部把网站后台搭建好了,然后网站还是很多东西需要修改的,特别是TDK改了一遍又一遍,但是这时候我没有去百度站长申请闭站保护,却是在网站根目录...

日期:2017-07-01 浏览次数:7

随机推荐

如何选择优质论坛虚拟主机...

江湖外卖O2O系统积分商城华丽变...

百度VIP大讲堂上海站干货大放送...

大话西游之建站宝盒:利用“互...

多年的网站优化知识白学了 这样...

美容O2O解决方案,总有一款适合...