百度网页搜索结果robots提示上线

发布日期： 2013-01-29 作者： admin

　　各位网站管理员，

　　您之前是否遇到过百度搜索结果中个别网页无摘要显示的现象，或发生过网站部分内容不收录的问题，站长平台提示您出现这两种情况可能是由于网站设置了robots.txt文件引起的。为了能够让站长更方便的了解网站页面在出现上述问题时是否是由于设置了robots文件，百度网页搜索结果中上线了robots.txt文件提示。

　　当网站使用robots.txt文件禁止百度收录网站的部分或全部内容，百度将会在搜索结果中给出robots.txt的提示，让站长及时了解网站在搜索结果中无摘要显示的原因，同时可在搜索结果中点击“了解详情”，查看网站详细的robots信息，确认是否是由于robots.txt的误设置而导致的封禁。robots.txt介绍：robots.txt是搜索引擎访问网站时查看的第一个文件，这个文件用于指定spider在该网站上的抓取范围。

　　部分网站由于存在不想被搜索引擎收录的内容，会使用robots.txt文件来屏蔽网站的部分内容或者全部内容。若网站对百度spider设置了robots.txt文件，百度会遵循robots协议，不去抓取封禁的结果，但是考虑到用户在搜索引擎中有搜索该网站地址的需求，搜索结果中会根据搜索需求展示网站的标题及网址，但不会显示网站的摘要。

　　温馨提示：仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。

　　同时为了方便站长快速检测及生成robots文件，百度站长平台已上线robots工具。工具地址：http://zhanzhang.baidu.com/robots

　　主要展现形式如下所示：

　　6 天前上传

　　下载附件 (59.82 KB)

　　网站robots.txt详情介绍页面：

本文载自，版权归原作者所有，仅供分享和交流，如涉及作品内容、版权和其它问题，请与本网站联系，我们将在第一时间删除。

上一篇: 新华网IPO初审拟登陆上海证券交易所

下一篇: 苏宁更名加速去电器化电商三国大战欲热

百度网页搜索结果robots提示上线

随便看看