Yoast SEO 教程：如何查看与修改 Robots.txt 文件

robots.txt 是指导搜索引擎抓取网站的重要文件，可以控制哪些内容允许被收录。对于 WordPress 用户，使用 Yoast SEO 插件可以轻松管理这个文件。本文会介绍 robots.txt 的作用、基本规则，以及如何用 Yoast SEO 进行设置。

一、什么是 Robots.txt 文件？

Robots.txt 是位于网站根目录的纯文本文件，用来指导搜索引擎蜘蛛（如 Googlebot、Bingbot）抓取或跳过特定内容。

例如：

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

这段代码的含义是：禁止所有搜索引擎访问 /wp-admin/ 目录，但允许抓取 AJAX 接口。

二、为什么要设置 Robots.txt？

设置得当的 Robots.txt 文件可以帮助你：

阻止无意义或重复内容被收录（如后台、分类页、标签页）
保护敏感页面不被索引
引导搜索引擎将抓取资源集中在高价值的页面

例如，WooCommerce 商店常常会屏蔽 /cart/、/checkout/ 等功能页，来避免因低内容质量而拖累 SEO 表现。

三、如何使用 Yoast SEO 插件查看 Robots.txt 文件？

Yoast SEO 插件为 WordPress 提供了内置的 Robots.txt 文件查看和编辑功能，无需手动进入主机或 FTP。

步骤如下：

登录 WordPress 后台
进入菜单：Yoast SEO → 工具（Tools）

点击【文件编辑器】（File Editor）

如果你的网站允许编辑，页面中会显示当前的 Robots.txt 内容

如果还没有该文件，Yoast SEO 会提供“一键创建”按钮，自动在网站根目录生成 robots.txt。

四、如何修改 Robots.txt 文件？

在【文件编辑器】页面中，你可以直接编辑 Robots.txt 内容，例如：

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /tag/
Disallow: /author/
Sitemap: https://yourdomain.com/sitemap_index.xml

完成编辑后，点击【保存更改】按钮，就可以更新 robots.txt 文件。

五、常见 Robots.txt 配置示例

标准配置（适合大多数 WordPress 网站）：

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /tag/
Disallow: /author/
Sitemap: https://yourdomain.com/sitemap_index.xml

增强隐私性配置：

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /checkout/
Disallow: /cart/

注意：不要屏蔽以下内容，否则会影响页面展示效果

Disallow: /wp-content/themes/
Disallow: /wp-content/plugins/

这样会让搜索引擎无法加载 CSS/JS，从而影响移动端可用性评分。

六、验证 Robots.txt 是否生效

完成设置后，可以通过浏览器访问：

https://yourdomain.com/robots.txt

确保内容与 Yoast 编辑器中保持一致。同时推荐使用以下工具进行检测：

Google Search Console → 检查网址工具
Screaming Frog SEO Spider
Ahrefs Site Audit 工具

七、总结与建议

Robots.txt 文件虽小，却对 SEO 策略起着大作用。通过 Yoast SEO 插件，不用进入服务器就可以轻松管理这一关键文件。建议你定期检查并更新 Robots.txt，确保搜索引擎抓取策略与网站结构和营销目标保持一致。

建议做法：

屏蔽低质量、重复或隐私页面
保留 Sitemap 地址，利于索引
避免阻止 CSS/JS 文件加载

联系我们
教程看不懂？联系我们为您免费解答！免费助力个人，小企站点！	客服微信
① 电话：020-2206-9892
② QQ咨询：1025174874
③ 邮件：[email protected]
④ 工作时间：周一至周五，9:30-18:30，节假日休息