通用WordPress程序网站Robots.txt文件设置文档参考
对于才开始学习网站建设的朋友来说，我们追求的只要能把网站搭建起来，能够在自己的博客、网站上更新内容就足矣。但是在网站运营中，尤其是在很多同行竞争中，如何才能让自己的网站具有特色且拥有人气，不仅仅需要在网站内容中需要有自己的原创、思想，更有需要在网站技术范畴需要适当的提高用户、搜索引擎的体验。
比如我们的网站是否有sitemap地图文件、是否有robots.txt文件屏蔽一些不需要让蜘蛛爬行的目录等设置，今天老蒋看到在知更鸟博客分享的针对WORDPRESS网站程序根目录的ROBOTS.TXT文件。
User-agent:
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: //comment-page-
Disallow: /?replytocom=
Disallow: /category//page/
Disallow: /tag//page/
Disallow: //trackback
Disallow: /feed
Disallow: //feed
Disallow: /comments/feed
Disallow: /?s=
Disallow: //?s=\<br> Disallow: /attachment/
Sitemap: http://www.itbulu.com/sitemap.xml
我们可以复制上面的内容，在根目录创建或者已有的robots.txt文件覆盖。把最后一行的地图文件路径修改成我们自己的路径。