通用WordPress程序网站Robots.txt文件设置文档参考

对于才开始学习网站建设的朋友来说,我们追求的只要能把网站搭建起来,能够在自己的博客、网站上更新内容就足矣。但是在网站运营中,尤其是在很多同行竞争中,如何才能让自己的网站具有特色且拥有人气,不仅仅需要在网站内容中需要有自己的原创、思想,更有需要在网站技术范畴需要适当的提高用户、搜索引擎的体验。
比如我们的网站是否有sitemap地图文件、是否有robots.txt文件屏蔽一些不需要让蜘蛛爬行的目录等设置,今天老蒋看到在知更鸟博客分享的针对WORDPRESS网站程序根目录的ROBOTS.TXT文件。

User-agent:
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /
/comment-page-
Disallow: /
?replytocom=
Disallow: /category/
/page/
Disallow: /tag//page/
Disallow: /
/trackback
Disallow: /feed
Disallow: //feed
Disallow: /comments/feed
Disallow: /?s=

Disallow: //?s=<br> Disallow: /attachment/
Sitemap: http://<;span style="color: #ff0000;">www.itbulu.com</span>/sitemap.xml

我们可以复制上面的内容,在根目录创建或者已有的robots.txt文件覆盖。把最后一行的地图文件路径修改成我们自己的路径。

赞 (0)
您的大名:
万水千山总是情,给个打赏行不行。 打赏

评论区

发表评论

38+10=?

暂无评论,要不来一发?

回到顶部