适合自己的 ● 才是最好的 新闻动态,洞悉互联网前沿资讯,探寻网站营销规律
当前位置:首页 > 百科知识 > 网站优化
发现robots.txt文件存在的限制指令后怎么办?
日期:2018/02/13 | 浏览:次 | TAG:

        当我们有时候site网址查看网站快照,可能会查看到百度结果会显示“由于该网站的robots.txt文件存在限制指令,系统无法提供该页面的内容描述”,我们可能会觉得奇怪,怎么会出现这种问题呢?难道是搜索引擎的蜘蛛出问题了吗?当然不是的,出现这种情况,大多数时间是由于我们网站根目录下robots.txt的文件限制了网站的快照,搜索引擎蜘蛛为了遵循网站的robots.txt约定,没有将除title的其他内容展示出来。

       那么发现了这个问题我们应该怎么办呢?首先,找到根目录下的robots.txt,用记事本打开,将仔细查看里面的disallow语句,找到disallow:/,对这个就是限制了蜘蛛抓取整个网站目录的指令,把这行去掉,保存退出。然后我们要到百度站长工具里面,重新提交robots文件,目的是为了告诉搜索引擎,我的robots文件已经做了修改,目录限制抓取已经解除。这样,等下次快照更新,你的网站可能就会正常了,当然,有时候百度更新是很慢的,这时候你也不要着急,可能要过一段时间才能正常收录并抓取,只要耐心等待即可。

 
QQ在线咨询
0813-2305563