WordPress企业网站优化 – robots.txt优化

首先，WPDOU介绍一下robots文件是什么？

robots的作用是通过它来告诉搜索引擎的机器人（Spider）那些目录可以爬，哪些不可以爬。在WordPress中阻止Spider爬行一些目录和文件，不但可以有效的节省搜索引擎对服务器带宽的占用，还可以提高网站在搜索引擎中的排名。知道了什么是robots.txt，那么就要知道wordpress中robots.txt怎么写的？这可很重要哦，你也从百度百科里知道了，robots.txt是搜索引擎中访问网站的时候要查看的第一个文件，robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。robots.txt编写对网站内容收录很重要的。

对于 WordPress 来说，我们研究下专门针对 WordPress 的写法，通过 robots.txt 声明来保护你的诸如插件、管理目录等隐私。

最简单的开放写法：

User-agent: *
Disallow:

使用说明：允许所有蜘蛛访问，允许访问所有内容。Wordpress只要模板中链接设计合理，没有需要限制的特殊内容，推荐使用这种写法。

最严格的写法：

这种写法允许所有蜘蛛访问，但会限制以“wp-”开头的目录及文件，并限制抓取.php文件、.inc文件、.js文件和.css文件，同时会限制抓取搜索结果。其中 Disallow: /wp-* 会连同附件目录（即你上传的图片、软件等）一起限制抓取，如果想让搜索引擎抓取附件中的内容，只需要将第三行的 # 号注释去掉即可。

最合理的写法：

采用这种写法允许所有搜索引擎抓取，并逐一列举需要限制的目录，同时限制抓取网站的搜索结果，

允许所有搜索引擎抓取，逐一列举需要限制的目录，限制抓取搜索结果。包含sitemap.xml地址（这一项wiki中有专门的说明，但Google管理员工具会提示‘检测到无效的 Sitemap 引用’，有效性尚有争议）。

WPDOU推荐的 robots.txt 写法：

说明如下：

• Disallow: /page/ 限制抓取 WordPress 的分页，也就是形如：http://www.wpdou.com/page/2 之类的链接。
• Disallow: /category/*/page/为限制抓取分类目录中的分页，如：http://www.wpdou.com/category/wordpress-moban/page/2 之类的链接。
• Disallow: /tag/*/page/ 为限制抓取标签页面中的分页，即形如：http://www.wpdou.com/tag/moban/page/2 之类的链接。

当然，也有采用如下写法的：

第1行是限制抓取所有的 Trackback 内容，第2行是限制抓取所有分类列表，你可以根据需要进行适当的修改。

你还可以使用 Google管理员工具中的“工具 -> 测试 robots.txt”来对你的robots更改进行测试，这样可以确保你的操作正确性。