如何使用 robots.txt 优化你的 WordPress 站点;wordpress博客seo优化设置之robots协议文件写法大全

在文章开始之前,我们要来聊下啥是Robots

Robots协议是啥?Robots协议是什么?

Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。

搜索引擎机器人访问网站时,首先会寻找站点根目录有没有 robots.txt文件,如果有这个文件就根据文件的内容确定收录范围,如果没有就按默认访问以及收录所有页面。

知道Robots协议的作用后,下面具体说一下WordPress站点如何编写robots.txt文件。

WordPress站点默认在浏览器中输入:http://你的域名/robots.txt,会显示如下内容:

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-includes/

这是由WordPress自动生成的,意思是告诉搜索引擎不要抓取后台程序文件。但这远远不够,比较完整的WordPress站点robots.txt文件,可参考以下:

wordpress博客程序robots文件写法大全及说明,请根据据自己网站情况自行添加robots协议

User-agent: * //设置robots规则适用的浏览者身份为全部UA身份
Disallow: /*?* //屏蔽掉页面中的动态路径
Disallow: /?p=* //屏蔽掉非固定链接的文章页面路径,因为每个页面中都会有一个shortlink使用的是?p= 的路径。
Disallow: /index.php //屏蔽掉首页默认页面的index.php 页面地址
Disallow: /wp-admin //屏蔽掉后台登陆页面地址,主要是考虑到服务器安全
Disallow: /wp-content/plugins //屏蔽掉wordpress的插件目录
Disallow: /wp-content/themes //屏蔽掉wordpress的模板目录
Disallow: /wp-includes //屏蔽掉wordpress的底层程序目录
Disallow: /trackback //屏蔽wordpress的页面回评路径
Disallow: /*/*/trackback //屏蔽wordpress分类目录、文章页面的回评路径
Disallow: /feed //屏蔽wordpress的内容订阅路径
Disallow: /*/*/feed //屏蔽wordpress分类目录、文章页面的订阅路径
Disallow: /comments/feed //屏幕wordpress评论的订阅路径
Disallow: /page/ //屏蔽默认的翻页路径
Disallow: /*/*/page/ //屏蔽分类目录的翻页路径
Disallow: /page/1$ //屏蔽翻页路径中的数字路径
Disallow: /tag/ //屏蔽标签页面
Disallow: /?s=* //屏蔽搜索结果路径,主要是避免搜索结果的缓存被搜索引擎收录
Disallow: /?r=*
Disallow: /*/comment-page-*
Disallow: /*?replytocom*
Disallow: /date/ //屏蔽按日期分类显示的列表页面
Disallow: /author/ //屏蔽作者文章列表页面
Disallow: /category/ //屏蔽以category为起始路径的分类路径,如果您没有使用插件生成不带category前缀的路径时,请不要使用此项规则。
Disallow: /?p=*&preview=true
Disallow: /?page_id=*&preview=true
Disallow: /wp-login.php //屏蔽后台登陆页面
Sitemap: https://www.laoliang.net/sitemap.xml //引导蜘蛛爬取网站地图
Sitemap: https://www.laoliang.net/sitemap_baidu.xml //引导百度蜘蛛爬取网站地图

当我们的网站上线后,有两项必备的基础工作要做,一个是网站地图sitemap另一个是网站的优化协议robots,这是最基本的网站内容优化收录实现方法,那如果说我们不想让搜索引擎收录某页面内容怎么办,我们可以通过对robots的设置进行一个最优的收录推送,来告诉蜘蛛哪些页面链接是不需要被收录的,那对于wordpress来讲有很多程序文件及标签或是自动的feed文件完成没有必要收录,那我们可以通过对robots的写法优化来实现收录内容最优。

使用方法

新建一个名称为robots.txt文本文件,可参考本文内的上面robots.txt,然后上传到网站根目录即可。

所写所说,是心之所感,思之所悟,行之所得;文当无敷衍,落笔求简洁。 以所舍,求所获;有所依,方所成!

更多请关注:老梁`s Blog

免责声明,若由于商用引起版权纠纷,一切责任均由使用者承担。 您必须遵守我们的协议,如果您下载了该资源行为将被视为对《免责声明》全部内容的认可->联系老梁投诉资源
Laoliang.Net资源全部来自互联网收集,仅供用于学习和交流,请勿用于商业用途。如有侵权、不妥之处,请联系站长并出示版权证明以便删除。 敬请谅解! 侵权删帖/违法举报/投稿等事物联系邮箱:service@laoliang.net
老梁`s Blog(老梁博客) » 如何使用 robots.txt 优化你的 WordPress 站点;wordpress博客seo优化设置之robots协议文件写法大全

发表评论

本站承接,网站推广(SEM,SEO),软件的安装的安装与调试,服务器的推荐以及配置,APP的开发与维护,网络或者web维护;财务软件,客户管理系统,人力资源,超市POS,医药管理,服务器安全,ecshop,金蝶,用友,管家婆;

立即查看 了解详情