Yoast SEO con robots.txt: ¿Cómo configurar correctamente las reglas de rastreo?

Quiere que los motores de búsqueda le entiendan mejorWordPress¿Sitio web? Configurar correctamente su archivo robots.txt es clave. Este archivo discreto es como el mapa de navegación del sitio web, que puede guiar inteligentemente al motor de búsqueda para rastrear el contenido importante y evitar páginas irrelevantes, lo que puede reducir la carga del servidor y mejorar los resultados SEO. Este artículo utilizaráYoast SEOEl plugin configura fácilmente robots.txt para permitir a los rastreadores rastrear con precisión y optimizar el efecto de la inclusión de sitios web.

1. ¿Qué es robots.txt?

robots.txt Se trata de un archivo de texto en el directorio raíz de un sitio web que se utiliza para indicar a los rastreadores de los motores de búsqueda qué páginas pueden rastrearse y cuáles están prohibidas.

La sintaxis básica incluye:

User-agent: [Nombre del rastreador]
Disallow: [Rutas que no se pueden rastrear].
Allow: [Rutas permitidas]

Ejemplo:

User-agent: *
No permitir: /wp-admin/
Permitir: /wp-admin/admin-ajax.php

Esto significa que todos los rastreadores tienen prohibido rastrear el backend de wp-admin, pero se les permite rastrear el archivo admin-ajax.php.

2. ¿por qué es importante la configuración de robots.txt?

• Mejorar la eficacia del rastreo

Evite que los rastreadores malgasten su presupuesto de rastreo en páginas duplicadas o sin valor.

• Protección de contenidos privados

Impida que los motores de búsqueda accedan a rutas sensibles, como el backend o los archivos del sistema.

• Prevención de la inclusión de contenidos duplicados

Utilizado junto con noindex, evita el impacto de páginas duplicadas o sin sentido. SEO.

Sin embargo, tenga en cuenta que robots.txt es sólo una "solicitud" para los rastreadores, y algunos rastreadores maliciosos pueden ignorar sus reglas.

3. Yoast SEO en relación con robots.txt

Yoast SEO no genera archivos robots.txt directamente, pero proporciona un cómodo punto de entrada para editar robots.txt sin tener que pasar por el programa FTP Modificar los archivos del servidor.

¿Cómo editar robots.txt con Yoast SEO?

• Inicie sesión en el backend de WordPress
• Haga clic en el menú de la izquierda Yoast SEO > Herramientas

• Seleccione Editor de archivos

• Si su WordPress Con acceso de escritura, verá el cuadro de edición de robots.txt

• Introduzca aquí sus reglas de rastreo y haga clic en [Guardar cambios] para que surtan efecto.

Si no se puede editar, deberá crear el archivo robots.txt manualmente a través de FTP o del panel de control de su alojamiento.

4. configuración de robots.txt ejemplo común

A continuación se muestran ejemplos de configuraciones comunes de robots.txt de WordPress que pueden adaptarse a la estructura de su sitio:

4.1 Configuración básica

User-agent: *
No permitir: /wp-admin/
Permitir: /wp-admin/admin-ajax.php

Esta configuración impide que el rastreador rastree el directorio backend, pero permite que el directorio Ajax Solicitud de documentos.

4.2 Enmascarar el directorio de plug-ins

Si desea ocultar el directorio de plugins, puede añadirlo:

Disallow: /wp-content/plugins/

Sin embargo, en general no se recomienda desactivarlas por completo a menos que se determine que estas rutas no afectan a la funcionalidad del front-end.

4.3 Permitir la captura completa

Si desea que el rastreador rastree todo el contenido del sitio:

Agente de usuario: *
Disallow.

4.4 Etiquetas de enmascaramiento y páginas de resultados de búsqueda

(/tag/) y las páginas de resultados de las búsquedas in situ suelen influir mucho en los resultados. SEO El rastreo puede desactivarse si tiene poco valor y si tiende a crear contenido duplicado:

Disallow: /?s=
Disallow: /etiqueta/

Nota: Si se ha establecido noindex para estas páginas, también se puede preservar el rastreo para evitar Consola de búsqueda de Google Advertencia "página noindex bloqueada por robots.txt".

5. Prácticas recomendadas para configurar robots.txt

• Desarrollar normas basadas en la situación real y evitar copiar ciegamente las configuraciones de otros.
• No prohibir CSS con el rastreo de archivos JS, de lo contrario afectará a la evaluación del diseño de la página y la adaptación móvil por parte del motor de búsqueda.
• Junto con el envío del sitemap.xml, añada el enlace del sitemap en robots.txt, por ejemplo:

Mapa del sitio: https://www.yoursite.com/sitemap_index.xml

• Una vez configurado, utilice la herramienta de prueba de robots.txt de Google Search Console para comprobar que cumple las expectativas.
• ajuste Yoast SEO ajuste noindex para una gestión flexible del estado de indexación de las páginas

6. Errores comunes de configuración

• Ha rechazado por error todo el sitio, lo que ha provocado que no se indexe.
• Deshabilitar el rastreo de los directorios wp-content, lo que provoca excepciones en la carga de estilos y scripts.
• Confiar en robots.txt para bloquear contenidos privados sin protección por contraseña es un riesgo para la seguridad.

resúmenes

robots.txt es una parte fundamental de la estrategia de SEO de un sitio web que no se puede ignorar, y la función de edición de archivos de Yoast SEO facilita la gestión de los robots.txt. robots.txtSe trata de una nueva forma de guiar a los rastreadores de los motores de búsqueda para mejorar la eficacia del rastreo y el rendimiento general del SEO.

Contacte con nosotros
¿No puede leer el tutorial? Póngase en contacto con nosotros para obtener una respuesta gratuita. Ayuda gratuita para sitios personales y de pequeñas empresas	Servicio de atención al cliente WeChat
① Tel: 020-2206-9892
② QQ咨询：1025174874
(iii) Correo electrónico: info@361sale.com
④ Horario de trabajo: de lunes a viernes, de 9:30 a 18:30, días festivos libres