在我看来Robots协议就是网站运营者行使网站支配权的一种执行文件，也是网站运营者最基本的权利。它是搜索引擎蜘蛛爬取网站之前重要的第一道关口，所以Robots协议的重要性我想大家也心知肚明了。

俗话说细节决定成败，那么越重要的东西，细节就显得尤为重要，往往自己一不小心忽略的一个细节到最后就可能会成为你的致命一击。现在就跟大家分享一下，就是希望大家以后自己优化网站的时候可以避免犯类似的错误，影响网站的SEO排名。

新网站刚做好的时候，很多站长都习惯将还未全部完成的站点直接提交到服务器上，解析正式域名，方便更新和调试。同时，为了避免网站还在调整的过程中就被搜索引擎抓取到，往往我们会在站点Robots协议中注明禁止所有搜索引擎爬取网站的任何指令。

调试网站期间，我们会更新一些内容，如公司新闻，行业动态。待所有内容都调试完毕后我们会把Robots协议重新更换过来，让搜索引擎蜘蛛的爬虫能快点抓取网站内容。

但是，这个时候可能意想不到的事情发生了，在我们屏蔽了搜索引擎抓取期间，通过SITE网站查询的时候发现，搜索引擎还是在调试期间正常抓取了网站内容，这个又是为什么呢，很多人都百思不得其解。

但我们通过一些工具检测后就能找到答案，如站长平台提供的“Robots检测工具”就能很好的帮助我们检查出问题。原来百度蜘蛛早就在我们网站上线后的没几天就抓取了Robots协议，因此当前生效的协议也就是当时它抓取到的把蜘蛛全部屏蔽的那个版本，而最新的Robot协议还没有生效...

一般通过百度站长工具更新Robots协议以后几分钟内就能更新过来了。更新过后，我们会收到百度站长平台新消息提醒，网站成功解封。至此网站已经解除了Robots协议对百度的全面封禁，如果快的话，很快我们就能查询到网站被收录的信息。

总结：

Robots协议在封禁蜘蛛之后直至后期在解封的时候，一定要记得及时更新Robots协议，这是一个不容被忽视的小细节。不要偷懒的通过输入http:\\abc.com\robots.txt看一下网站的协议是否改过来，发现已经更改了就不管了。切记Robots一旦进行调整就一定要记得及时向搜索引擎提交更新，不然被蜘蛛抓取了不该抓的或者一直把蜘蛛拒之门外耽误了自己的时间那就真的太可惜了。