当我们有时候site网址查看网站快照，可能会查看到百度结果会显示“由于该网站的robots.txt文件存在限制指令，系统无法提供该页面的内容描述”，我们可能会觉得奇怪，怎么会出现这种问题呢？难道是搜索引擎的蜘蛛出问题了吗？当然不是的，出现这种情况，大多数时间是由于我们网站根目录下robots.txt的文件限制了网站的快照，搜索引擎蜘蛛为了遵循网站的robots.txt约定，没有将除title的其他内容展示出来。

       那么发现了这个问题我们应该怎么办呢？首先，找到根目录下的robots.txt，用记事本打开，将仔细查看里面的disallow语句，找到disallow:/，对这个就是限制了蜘蛛抓取整个网站目录的指令，把这行去掉，保存退出。然后我们要到百度站长工具里面，重新提交robots文件，目的是为了告诉搜索引擎，我的robots文件已经做了修改，目录限制抓取已经解除。这样，等下次快照更新，你的网站可能就会正常了，当然，有时候百度更新是很慢的，这时候你也不要着急，可能要过一段时间才能正常收录并抓取，只要耐心等待即可。