解析各大搜索引擎对robots.txt文件的反应

一直都没有看到个具体的robots.txt文件在各个搜索引擎的执行情况如何，最近，我特意针对robots.txt文件对于各大搜索引擎做了个实验，看他们这一自己说是明文遵守的协议，落实到实际中去执行

大家都知道，在网站上线前，就是你的网址暴露在互联网中，能引来谷歌，百度，雅虎，搜狗等等搜索引擎蜘蛛来爬前，网站的主题，关键字，描述，和网站的结构布局一定要明确。一旦蜘蛛来爬过去，你的网站主题关键字

前一段时间由于部分站长对robots文件的误读，导致了一则虚假消息的诞生--“新浪封杀门”，消息称新浪博客开始封杀百度蜘蛛，其判断的依据只不过是新浪博客在的robots文件

继续上次说的，我的网站-合肥公司注册http://www.hfgsw.net，在提交后3天就收录了，我很激动，可是现在都6天过去了，快照还是4月24号的，我那个急啊，虽说是收录了，但排名还是在后面

有一种力量其实一直在渗入大量的网站和页面，我们通常看不到它们，而且它们通常也很蛮横，大部分人甚至不知道它的存在，大家不要误会，其实我说得是搜索引擎爬虫和机器人。每天，上百个这样的爬虫会出来对网站进

一。什么是robots.txt文件？ 搜索引擎通过一种程序robot（又称spider），自动访问互联网上的网页并获取网页信息。 您可以在您的网站中创建一个纯文本文件robots.txt，

Robots.txt是用来告诉bot的访问权限，因Robots.txt协议并不是一个规范，而只是约定俗成的，通常大多数搜索引擎会识别这个元数据，不索引这个页面，以及这个页面的链出页面，使用方法是将

对于robots.txt，可能一般人的观点是可写可不写，写错了还有麻烦，所以干脆不写。其实，在搜索引擎优化中，robots.txt有这么几个妙用。现在咱们一一来看下robots.txt的妙用。

一．什么是robots.txt文件? 搜索引擎通过一种程序robot（又称spider），自动访问互联网上的网页并获取网页信息。 您可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中