robots.txt的详细写法之wordpress博客（一）

今天回顾检查近期的收录结果，发现搜索引擎还是始终收录3月中发的那篇测试文章，而新的页面，无论原创还是伪原创一概不收录，仔细一检查发现是后台的sitemap插件有设置问题，已经修改好。然后突然发现自己的robots.txt写法似乎存在问题。

User-agent: *

Disallow:Sitemap: http://www.isongxia.com/sitemap.xml.gz

使用Wordpress搭建的博客，利用robots.txt文件限制搜索引擎抓取部分目录及文件，网上此类的学习帖非常之多。@老乐的写法我认为比较不错。

最简单的严格写法

User-agent: *

Disallow: /wp-*

#Allow: /wp-content/uploads/

Disallow: /*.php$

Disallow: /*.inc$

Disallow: /*.js$

Disallow: /*.css$

Disallow: /?s=

允许所有蜘蛛访问，限制以“wp-”开头的目录及文件，限制抓取.php文件、.inc文件、.js文件、.css文件，限制抓取搜索结果。Disallow: /wp-* 会连同附件目录一起限制抓取，如果想让搜索引擎抓取附件中的内容，将第三行的 # 号注释去掉。Allow 不是所有搜索引擎都支持。

@宋夏的写法

User-agent: *

Disallow: /wp-admin

Disallow: /wp-content/plugins

Disallow: /wp-content/themes

Disallow: /wp-includes

Disallow: /?s=

Sitemap: http://www.isongxia.com/sitemap.xml.gz

允许所有搜索引擎抓取，逐一列举需要限制的目录，限制抓取搜索结果。包含sitemap.xml地址(这一项viki中有专门的说明，但Google管理员工具会提示‘检测到无效的 Sitemap 引用’，有效性尚有争议)。

robots.txt的详细写法之wordpress博客(二)：http://www.isongxia.com/robots-txt-2.html

【宋夏的网络推广成长博客】本文地址：http://www.isongxia.com/robots-txt-1.html(转载敬请保留)