Guía completa de configuración de WordPress Robots.txt: Consejos de optimización imprescindibles para principiantes

A la hora de optimizar un sitio web, elRobots.txt A menudo se pasa por alto. Pero para los sitios de WordPress, este pequeño archivo es como el portero, decidiendo qué contenido ven los motores de búsqueda. Si está bien configurado, las entradas y las páginas de productos se indexarán más rápido; si está mal configurado, puede incluso hacer que todo el sitio desaparezca de los resultados de búsqueda.

¿Qué es Robots.txt?

Robots.txt es un archivo de texto que se coloca en el directorio raíz de un sitio web. Las arañas de los motores de búsqueda consultan este archivo antes de entrar en el sitio y deciden si pueden acceder a determinados directorios de acuerdo con las reglas que contiene. No elimina páginas, sino que indica a los motores de búsqueda "qué mirar y qué no mirar".

Un ejemplo:

Si quieres que se indexen los artículos y las páginas de categorías, ábrelos.
Puede desactivar el acceso si no desea que se rastreen los archivos del backend o del plugin.

WordPress por defecto

montaje WordPress Después, si no se añade Robots.txt manualmente, los motores de búsqueda intentarán rastrear todo el contenido. Esto no afectará a la inclusión básica, pero la cuestión es:

puede malgastar recursos del rastreo en archivos inútiles.
Algunas rutas de backend o plugin pueden incluirse sin sentido.
Las páginas duplicadas, como las pestañas, ocupan espacio en el índice y afectan al peso del contenido principal.

Por tanto, es necesaria una asignación racional.

¿Por qué es necesario configurar Robots.txt?

Ahorro de recursosLos motores de búsqueda no pierden el tiempo rastreando páginas irrelevantes.
centrarse enLas páginas de artículos, categorías y productos tienen más probabilidades de llamar la atención.
Protección de la intimidad: Evita la exposición de archivos de fondo y del sistema.
Mejorar la velocidad de inclusión: Cooperación Mapa del sitioque pueden subir nuevos contenidos más rápido.

Ejemplos comunes de WordPress Robots.txt

He aquí una configuración básica habitual:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /readme.html
Permitir: /wp-admin/admin-ajax.php

Mapa del sitio: https://www.example.com/sitemap_index.xml

Descripción de las normas

Agente de usuario: *: significa que funciona para todos los motores de búsqueda.
No permitirDirectorio al que está prohibido el acceso.
Permitir: Documentos a los que se puede acceder.
Mapa del sitio: Indique a los motores de búsqueda dónde se encuentra el mapa del sitio.

Prioridades de configuración para distintos tipos de sitios web

1. Sitio del blog

Se centra en artículos y clasificados, y las pestañas se pueden bloquear:

Disallow: /etiqueta/

2. Sitios web de comercio electrónico

Las páginas de productos y categorías deben estar protegidas, los carritos de la compra bloqueados, etc:

Disallow: /carta/
Disallow: /pago/
Disallow: /mi-cuenta/

3. Escaparate de la empresa

Con menos contenido, puedes limitarte a bloquear los archivos de fondo y de sistema y mantener la sencillez.

La función del sitemap

existe Robots.txt Incluir la dirección del sitemap en el archivo permite a los motores de búsqueda encontrar más rápidamente las páginas importantes de su sitio web. Por ejemplo:

Mapa del sitio: https://www.example.com/sitemap.xml

De este modo, los artículos, las categorías y las páginas de productos se rastrean en primer lugar.

error común

Bloqueo de demasiados catálogos: Todo el directorio /wp-content/ fue bloqueado por error y las imágenes no pudieron ser incluidas.
Olvidó añadir el mapa del sitio: Conduce a una lenta inclusión de nuevos contenidos.
Camino equivocado::WordPress Distingue entre mayúsculas y minúsculas e introdúcelo correctamente.
no actualizado: Compruébelo a tiempo tras añadir nuevos plug-ins o renovarlos.

¿Cómo comprobar si Robots.txt es válido?

Abra su navegador y escriba en la barra de direcciones:

https://你的域名/robots.txt

El hecho de que se muestre correctamente significa que el archivo ha surtido efecto. También puede probar las reglas de rastreo en Google Search Console para ver si hay algún problema.

Configuración con el plugin SEO (recomendado para principiantes)

La forma más sencilla de hacerlo es con un plugin SEO para WordPress como:

Rank Math SEO
Yoast SEO

Estos plugins vienen con la edición de Robots.txt sin tener que iniciar sesión en el servidor.

Procedimiento paso a paso (utilizando Rank Math como ejemplo):

Inicie sesión en el backend de WordPress → Rank Math → Configuración general → Editar robots.txt

Introduzca la regla en el cuadro de edición (como en el ejemplo descrito anteriormente).
Guarde los ajustes y el archivo se generará automáticamente y entrará en vigor.

resúmenes

Robots.txt puede parecer simple, pero está directamente relacionado con la WordPress La inclusión del sitio. Una configuración razonable permite a los motores de búsqueda encontrar rápidamente contenidos valiosos y reducir el rastreo ineficaz.

Contacte con nosotros
¿No puede leer el tutorial? Póngase en contacto con nosotros para obtener una respuesta gratuita. Ayuda gratuita para sitios personales y de pequeñas empresas	Servicio de atención al cliente WeChat
① Tel: 020-2206-9892
② QQ咨询：1025174874
(iii) Correo electrónico: info@361sale.com
④ Horario de trabajo: de lunes a viernes, de 9:30 a 18:30, días festivos libres