WordPress Robots.txt 配置完整指南：新手必看优化技巧

在做网站优化时，Robots.txt 常常被忽略。但对 WordPress 网站来说，这个小文件就像守门员，决定搜索引擎能看到哪些内容。如果配置得当，文章、产品页面会更快被收录；如果配置错误，甚至可能让整个站点消失在搜索结果里。

什么是 Robots.txt？

Robots.txt 是一个放在网站根目录下的文本文件。搜索引擎的蜘蛛在进入网站前，会先查看这个文件，然后根据里面的规则决定能不能访问某些目录。它并不会删除页面，而是告诉搜索引擎“要看什么，不要看什么”。

举个例子：

你想让文章和分类页被收录，就要开放它们。
你不希望后台或插件文件被抓取，就可以禁止访问。

WordPress 默认情况

安装 WordPress 后，如果没有手动添加 Robots.txt，搜索引擎会尝试抓取所有内容。这样虽然不会影响基本收录，但问题是：

会浪费抓取资源在无用的文件上。
一些后台或插件路径可能被收录，没有意义。
标签页等重复页面会占用索引空间，影响主内容的权重。

所以，合理配置很有必要。

为什么需要配置 Robots.txt？

节省资源：搜索引擎不会浪费时间抓取无关页面。
突出重点：文章页、分类页、产品页更容易被关注。
保护隐私：避免后台和系统文件暴露。
提高收录速度：配合 Sitemap，能更快让新内容出现。

常见的 WordPress Robots.txt 示例

下面是一个常见的基础配置：

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /readme.html
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.example.com/sitemap_index.xml

规则说明

User-agent: *：代表对所有搜索引擎生效。
Disallow：禁止访问的目录。
Allow：允许访问的文件。
Sitemap：告诉搜索引擎网站地图的位置。

不同类型网站的配置重点

1. 博客网站

重点在文章和分类目录，标签页可以屏蔽：

Disallow: /tag/

2. 电商网站

应保护好商品和分类页面，屏蔽购物车等：

Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/

3. 企业展示网站

内容较少，可以只屏蔽后台和系统文件，保持简单即可。

Sitemap 的作用

在 Robots.txt 文件里加入 Sitemap 地址，可以让搜索引擎更快找到网站重要页面。比如：

Sitemap: https://www.example.com/sitemap.xml

这样文章、分类、产品页都会被优先抓取。

常见错误

屏蔽过多目录：误把 /wp-content/ 整个目录屏蔽，图片无法收录。
忘记添加 Sitemap：导致新内容收录慢。
路径写错：WordPress 区分大小写，输入要正确。
未更新：新增插件或改版后要及时检查。

如何检查 Robots.txt 是否有效？

打开浏览器，在地址栏输入：

https://你的域名/robots.txt

能正常显示说明文件已生效。你也可以在 Google Search Console 里测试抓取规则，看是否有问题。

使用 SEO 插件设置（推荐新手）

最方便的方法是用 WordPress 的 SEO 插件，比如：

Rank Math SEO
Yoast SEO

这类插件自带 Robots.txt 编辑功能，不用登录服务器。

操作步骤（以 Rank Math 为例）：

在编辑框里输入规则（比如前面所说的示例）。
保存设置，文件就会自动生成并生效。

总结

Robots.txt 看似简单，却直接关系到 WordPress 网站的收录情况。一个合理的配置，能让搜索引擎快速找到有价值的内容，减少无效抓取。

联系我们
教程看不懂？联系我们为您免费解答！免费助力个人，小企站点！	客服微信
① 电话：020-2206-9892
② QQ咨询：1025174874
③ 邮件：[email protected]
④ 工作时间：周一至周五，9:30-18:30，节假日休息