关于网站的Robot文件使用详解

王朝网站推广·作者佚名 2011-12-05

宽屏版字体: 小|中|大|超大

很多朋友不太注重Robots文件，其实Robots文件在SEO优化里是比较重要的，不仅可以用它来屏蔽死链，还可以用它来引导蜘蛛爬网站地图。参考我的http://www.seo0668.com/robots.txt，不会的照抄我的就行了。

User-agent: *

Disallow: /plus/ad_js.php

Disallow: /plus/advancedsearch.php

Disallow: /plus/car.php

Disallow: /plus/carbuyaction.php

Disallow: /plus/shops_buyaction.php

Disallow: /plus/erraddsave.php

Disallow: /plus/posttocar.php

Disallow: /plus/disdls.php

Disallow: /plus/feedback_js.php

Disallow: /plus/mytag_js.php

Disallow: /plus/rss.php

Disallow: /plus/search.php

Disallow: /plus/recommend.php

Disallow: /plus/stow.php

Disallow: /plus/count.php

Disallow: /include

Disallow: /templets

Disallow: /WL/

Disallow: /plus/

Disallow: /plus/guestbook

Disallow: /plus/guestbook.php

Disallow: /MMSEO/75.html

Disallow: /plus/arcmulti.php?mtype=0&pnum=

Disallow: /plus/arcmulti.php?mtype=1&pnum=

Disallow: /plus/feedback_ajax.php

Disallow: /MMSEO/XYSEO/177.html

Disallow: /MMSEO/33.html

Sitemap: http://www.seo0668.com/sitemap.htm

Sitemap: http://www.seo0668.com/sitemap.xml

Robot文件的功能：

搜索引擎抓去页面会叫蜘蛛(也叫机器人)来爬行我们的网站，在爬行一个网站之前都会访问一下这个网站根目录下的Robots.txt。而这个Robots.txt里面的内容就是告诉蜘蛛，哪些是可以爬行的哪些是不可以爬行的，可以说Robots.txt是不可忽视的SEO小细节。能引导蜘蛛正确的爬行我们的网站这就是Robots的功能,我们可以把一些重要的版块或文件夹屏蔽掉，让蜘蛛爬行不到，保护我们的网站安全

Robot文件的作用：

1、当你删除一个目录时需要使用Robots文件禁止蜘蛛对此问目录的访问，这样可以避免死链接的形成。当然禁止搜索引擎收录的还有你网站的一些图片目录，js目录....，如果蜘蛛读到你网站没用的信息的时候也会给你降低一点权重的。

2、Robots的写法看似简单实际比较严格，建议去网上查看相关资料，就算是一个空格写错了也会造成不必要的后果，建议到网上学习下。

3、Robots的最大用处就在于提交网站地图，提交网站地图可以让搜索引擎知道你每天都在更新，收录你的文章会更多更快。

Robot文件的写法：

1、允许搜索引擎收录本站所有内容：Robots.txt为空就可以，什么都不要写。

2、禁止搜索引擎收录本站某些页面，参照http://www.seo0668.com/robots.txt。

User-agent: *

Disallow: /目录名1/

Disallow: /目录名2/

3、禁止搜索引擎收录本站所有内容：

我们知道淘宝是封杀百度的，我找到了淘宝网的Robots.txt，浏览器输入：http://www.taobao.com/robots.txt，照抄即可。