常见的robots协议问题

一、什么是robots协议？

如果搜索蜘蛛访问某个站点，它将首先检查站点根上是否有一个名为robots.txt的纯文本文件，以指定在您站点上搜索蜘蛛(crobots.txt)的搜索范围。

实际上，这是一个文件。使用者写下代码，放置在虚拟的根目录下，告诉搜索引擎哪些页面是可以获取的，哪些页面无法获取。

二、支持哪些robots Meta标签？

目前站点的插件代码支持nofollow,noarchive两个robotsMeta标签，但是百度官方的“百度搜索引擎优化指南”明确表示只支持nofollow,noarchive两个meta标签，这两个标签的写法参考如下：

1)防止所有搜索引擎显示您的网站快照，并将此元标记放入部分:

2)如果您不想搜索引擎跟踪该网页上的链接，并且没有传递链接权重，您可以将该元标记放入:

三、网站管理员如何上传robots协议？

robots文件需要用户自己写代码，保存为txt文件，然后上传到网站的虚拟根目录。

四、其他常见问题。

问:如何操作www.aaa.com/bbom/bb.html这个页面的robots文件？

答:robots文件需要用户自己写。目前没有针对某个页面的虚拟根目录可以写上传到网站的虚拟根目录。

问:网站后台没有上传robots文件，但是输入www.aaa.com/robots.txt还是可以访问的。默认吗？

答:这是nginx配置的问题。访问以txt为后缀的文件将添加text/plain的contenttype。如果改为text/htmI，会出现安全问题，暂时不处理。

问:上传robots没有体现在sitemap上，正常吗？

答:正常。网站的sitemap是根据网站页面生成的，后台上传的robots不会体现在sitemap上。