WordPress robots.txt 写法

WordPress robots.txt 文件对于网站在搜索引擎中的展示有着至关重要的作用，robots.txt 是一个纯文本文件，通过在这个文件可以告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取，从而优化网站的收录结果和权重。可以屏蔽一些网站中比较大的文件，如：图片，音乐，视频等，节省服务器带宽；可以屏蔽站点的一些死链接。方便搜索引擎抓取网站内容；设置网站地图连接，方便引导蜘蛛爬取页面。

robots.txt 文件是存放在网站根目录下的，如果你的网站根目录下还没有 robots.txt 文件，你可以手工创建一个，具体的写法请参考 百度百科。下面是一个常规的通用 WordPress  robots 协议：

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /?attachment_id=

Sitemap: http://www.yourdomain.com/sitemap.xml

上面的代码意思，例如：Disallow: /wp-admin/ 这行定义的是禁止搜索引擎抓取 /wp-admin/ 目录下面的目录。

如果你对于你的robots.txt的写法不放心的话，建议你使用 Google管理员工具中的“ 工具  -> 测试 robots.txt ” 来对你的更改进行测试，这样可以确保你的操作正确性。

其实，如果你的网站根目录不存在真实的 robots.txt， WordPress 会自动创建虚拟 robots.txt 功能（该文件不会真实存在，但是访问 http://yoursite.com/robots.txt 时可以正常显示）。