您好,欢迎浏览企速网络,我们的网址是:www.tlqisu.com
铜陵专业的网站建设
网站建设服务商

网站Robots.txt协议!你懂多少?

2022-1-6 10:27:30 次浏览 分类:公司动态

      网站Robots.txt文件,是网站与搜索引擎交流的通用协议,通过Robots协议的设置告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取:一方面可以做网站安全的防护,更重要的是用来做优化,减少无效页面的收录,提升站点的排名效果。


      但是在实际的操作中,绝大多数的网站,在其撰写上都存在或多或少的欠缺,甚至由于技术性的错误撰写,还会导致网站降权、不收录、被K等一系列问题的出现。对于这一点,我在对客户的SEO诊断过程中,会经常遇到,可以算是很多站点的通病。今天写出这篇文章,就是来做一个分享:关于robots.txt协议,你写对了吗?
      一:设置成Allow全站点抓取
      百度收录的越多,网站的排名越高?这是绝大多数站长的认为,事实上也是如此。但是也并非绝对成立:低质量的页面收录,会降低网站的排名效果,这一点你考虑到了吗?
      如果你的网站结构不是非常的清晰,以及不存在多余的“功能”页面,不建议对网站开全站点的抓取,事实上,在SEO诊断中,只遇到极少数的一部分网站,可以真正的做到全站点都允许抓取,而不做屏蔽。随着功能的丰富,要做到允许全站点抓取,也不太可能。
      二:什么样的页面不建议抓取
      对于网站功能上有用的目录,有用的页面,在用户体验上可以得到更好的提升。但是搜索引擎方面来讲,就会造成:服务器负担,比如:大量的翻页评论,对优化上则没有任何的价值。
      除此外还包含如:网站做了伪静态处理后,那么就要将动态链接屏蔽掉,避免搜索引擎抓取。用户登录目录、注册目录、无用的软件下载目录,如果是静态类型的站点,还要屏蔽掉动态类型的链接Disallow: /*?* 为什么呢?我们举个例子来看:

      上面是某客户网站发现的问题,被百度收录的原因是:有人恶意提交此类型的链接,但是网站本身又没有做好防护。

      三:撰写上的细节注意事项

      方法上来讲,绝大多数的站长都明白,这里就不做多说了,不明白的站长,可以上百度百科看一下。今天这里说一些不常见的,可能是不少站长的疑问。
      1、举例:Disallow; /a 与Disallow: /a/的区别,很多站长都见过这样的问题,为什么有的协议后加斜杠,有的不加斜杠呢?笔者今天要说的是:如果不加斜杠,屏蔽的是以a字母开头的所有目录和页面,而后者代表的是屏蔽当前目录的所有页面和子目录的抓取。
      通常来讲,我们往往选择后者更多一些,因为定义范围越大,容易造成“误杀”。
      2、JS文件、CSS需要屏蔽吗?不少网站都做了这个屏蔽,但是我要说的是:google站长工具明确的说明:封禁css与js调用,可能会影响页面质量的判断,从而影响排名。而对此,我们做了一些了解,百度方面同样会有一定影响。
      3、已经删除的目录屏蔽,很多站长往往删除一些目录后,怕出现404问题,而进行了屏蔽,禁止搜索引擎再抓取这样的链接。事实上,这样做真的好吗?即使你屏蔽掉了,如果之前的目录存在问题,那么没有被蜘蛛从库中剔除,同样会影响到网站。
      建议的方式是:将对应的主要错误页面整理出来,做死链接提交,以及自定义404页面的处理,彻底的解决问题,而不是逃避问题。

相关资讯

  • 2020年企速网络第四届羽毛球比赛圆满落幕

    为增强员工体质,丰富员工业余生活,培养团结协作、顽强拼搏的进取精神,同时号召大家锻炼身体,以更饱满的热情投入工作,8月15日下午,公司组织举办了第四届羽毛球比赛,公司各部门共20多位选手参加。王思勤主持宣读比赛规则及注意事项 此次比赛共设男子单打、女子单打和混合双打三个项目,根据报名人数抽签分组,采用分组淘汰制,单局11分制,先得11分者即获胜,脱颖而出的选手方可进入决赛。 赛前,队员们早早来到场地,抓紧时间热身,比赛还没开始,现场气氛便浓烈起来。当总裁判王娟宣布比赛正式开始后,队员们

    2020-8-17 11:47:07
  • 企速网络2017春节休假通知

    企速网络2017春节休假通知尊敬的客户: 您好! 我司放假时间:1月23日(农历腊月二十六)-2月4日(农历正月初八)为期:13天,2月5日(正月初九)上班。 为确保不耽误贵公司的相关运作,请贵司提前做好续费等相关安排。 放假期间原则上我司不安排值班人员,如有问题需年后处理,紧急情况可联系相关部门工作人员。联系方式如下: 微 信 部:查小姐:15056815524 网 站 部:周小姐:13856263611 58同

    2017-1-21 15:11:59
  • 企速网络2017年元旦休假通知

    企速网络2017年元旦休假通知尊敬的客户:您好!元旦我司放假时间:2017年1月1日——1月3日,共计三天。放假期间原则上我司不安排值班人员,如有问题节后处理,紧急情况可联系相关部门工作人员。联系方式如下:微信部:查小姐:15056815524网站部:周小姐:1385626361158同城部:肖小姐:15256628285以上造成贵司诸多不便,还望得到贵司的谅解与支持!谢谢!在此祝大家元旦快乐!铜…

    2016-12-29 8:43:02
  • 贺铜陵企速网络公司乔迁之喜

    热烈祝贺铜陵企速网络公司乔迁之喜!2016年10月7日是企速网络公司乔迁之日,全体员工热情高涨,衷心祝愿公司乔迁吉祥,业务蒸蒸日上! 几年来,我们全体同仁在公司领导人的带领下,团结进取、上下一心,迎来了公司成长过程中的一个又一个春天。这次公司迁至铜陵市石城大道与翠湖一路交汇处(大润发对面)汇富广场1608-1609室,办公楼气势宏伟,预示着企速事业更上一层楼!企速人有理由相信,拥有天时…

    2016-10-21 14:59:34

Copyright © 2011-2017 铜陵企速网络信息技术有限公司【官网】 All Rights Reserved   备案号:皖ICP备11022694号    皖公网安备 34070202000122号

地址:铜陵市翠湖一路北斗星城B5栋7楼 电话:0562-7116895、15605620920、13195627505

主营业务:铜陵域名注册   虚拟主机   企业邮局  网页设计  网站维护  网站推广   网络营销   网络广告  可信网站   400电话业务   微信推广 微信营销  微官网