robots文件的含义及对网站优化效果
分类:SEO知识 热度:

robots.txt是放在一个网站根目录之下的一个文件,并不是给用户看的,而是为了让搜索引擎看的。robots的意思可以翻译为搜索引擎机器人,也就是搜索引擎派出去爬取网站页面的蜘蛛,而robots文件就是蜘蛛爬取网站时需求阅历的第一道们,经过robots文件可以清晰自己的拜访权限。形象的解说可以看做是约束某一些蜘蛛进入网站,以及约束进入了网站的蜘蛛拜访网站内容权限。
Robots文件并不是一个像W3C那样指定网络标准协议,而是众多搜索引擎约定俗成的。下图显现的是咱们网站的robots文件内容。第一行的User-agent: *的意思是以下的Disallow指令是针对一切的搜索引擎的,也可以改为针对某一独自的搜索引擎。Disallow后的内容则是不允许搜索引擎爬取录入的内容。

  robots文件的含义及对网站优化效果

虽然知道了robots文件的含义是什么,可是robots文件关于网站搜索引擎优化优化都有什么用呢?robots文件关于网站搜索引擎优化是有着必定效果的,要对其娴熟的进行运用,主要有以下五个方面促进网站优化推行,由于robots文件是针对搜索引擎的,所以运用好可以添加搜索引擎爬取网站的体验度然后添加网站录入量。
1. 屏蔽网站的空、死链接
由于网站内容的修正以及删去,简单导致网站内的一些内链失效变为空链或者死链。通常咱们会对网站定时查看空链和死链,将这些链接提取出来,写入robots文件之中,避免搜索引擎爬取该链接,直接提高搜索引擎的体验。该种方法是有效的,由于修正现已录入的内容时会使得搜索引擎从头的爬取修正过的网页,再次判别是否进行录入,假如没有继续录入了,那么就得不尝试了。
2. 避免蜘蛛爬取网站重复内容
由于网站许多的动态页面搜索引擎时无法录入的,所以许多时分咱们需求关于这些动态页面进行拟定一个静态的页面以助于搜索引擎录入。这时分就让搜索引擎不要爬取某一些重复的内容,可以削减站内的页面关键词权重竞赛。
3. 避免蜘蛛爬取无含义内容,糟蹋服务器资源
网站上是有许多的内容都是一些无含义的内容,例如网站的各种脚本代码、css文件和php文件等等,这些文件关于网站优化都是无含义的,爬取这些网站不只不会录入,并且还会糟蹋服务器的资源。上图中许多制止拜访的内容都是这类无含义的文件目录。
4. 维护网站隐私内容
网站有许多的页面都是有着必定隐私的,例如一个用户接受的推送又或者是购物车等等,这些链接虽然在一个页面之中有,可是显然是不期望搜索引擎爬取的内容。
5. 有利于网站调试
在网站开始上线前都会有着必定的过错,需求一段时刻的调试再对搜索引擎敞开爬取,在调试期间就可以将robots文件设置为关于一切的搜索引擎都处于回绝爬取状况,等一切的过错都处理后再修正robots文件。
留意细节:每次修正robots文件之后都需求到搜索引擎站长渠道去提交robots文件更新提示,由于搜索引擎更新网站的状况都是需求必定的时刻,只要人工提交才可以让更新后的robots文件like收效。

上一篇:看搜索引擎优化网站文章质量五大要素 下一篇:网站搜索引擎免费程序的介绍
猜你喜欢
各种观点
热门排行
精彩图文