通过新浪“屏蔽门”来学习正确的robots.txt文件写法

前一段时间由于部分站长对robots文件的误读，导致了一则虚假消息的诞生--“新浪封杀门”，消息称新浪博客开始封杀百度蜘蛛，其判断的依据只不过是新浪博客在的robots文件

继续上次说的，我的网站-合肥公司注册http://www.hfgsw.net，在提交后3天就收录了，我很激动，可是现在都6天过去了，快照还是4月24号的，我那个急啊，虽说是收录了，但排名还是在后面

前几日有文章称由于众多站长滥发信息做外链，导致垃圾博文充斥新浪博客，因此新浪博客开始屏蔽百度蜘蛛，有网友发现大部分新浪博客快照在百度中已经没有更新，通过查看新浪robots文件(http://bl

今天回顾检查近期的收录结果，发现搜索引擎还是始终收录3月中发的那篇测试文章，而新的页面，无论原创还是伪原创一概不收录，仔细一检查发现是后台的sitemap插件有设置问题，已经修改好。然后突然发现自

最近经常有朋友问我一些robots的问题，今天我就将robots使用的一些心得和技巧和大家一起分享一下，欢迎各位拍砖指正。 robots性质：TXT的文本文件。 应用原理：当一个搜

在一个网站里，robots.txt是一个重要的文件，每个网站都应当有一个设置正确的robots.txt。 当搜索引擎来抓取你的网站文件之前，它们会先来看看你网站的robots.txt文件的设置，以了

如何创建 robots.txt 文件？ 您可以在任何文本编辑器中创建此文件。该文件应为 ASCII 编码的文本文件，而非 HTML 文件。文件名应使用小写字母。 最简单的 robots.txt

把网站地图链接放在robots.txt文件里，好处就是站长不用到每个搜索引擎的站长工具或者相似的站长部分去提交自己的sitemap文件。这样的方法可以帮助站长减轻工作。 各大搜索引擎都发布

robots.txt 文件对抓取网络的搜索引擎漫游器(称为漫游器)进行限制。这些漫游器是自动的，在它们访问网页前会查看是否存在限制其访问特定网页的 robots.txt 文件。如果你想保护网站上的