Tutorial Yoast SEO: Cómo ver y modificar el archivo Robots.txt

robots.txt es un archivo importante que dirige a los motores de búsqueda para rastrear su sitio web y controlar qué contenido se permite incluir. Para los usuarios de WordPress, este archivo se puede gestionar fácilmente con el plugin Yoast SEO. En este artículo, vamos a introducir el papel de robots.txt, las reglas básicas, y cómo utilizar el archivo Yoast SEO Haz los ajustes.

I. ¿Qué es el archivo Robots.txt?

Robots.txt es un archivo de texto sin formato ubicado en el directorio raíz de un sitio web que se utiliza para guiar a las arañas de los motores de búsqueda (tales como Googlebot(Bingbot) para rastrear u omitir contenidos específicos.

Ejemplo:

User-agent: *
No permitir: /wp-admin/
Permitir: /wp-admin/admin-ajax.php

El significado de este código es: prohibir a todos los motores de búsqueda el acceso al /wp-admin/ pero permite el rastreo AJAX Interfaz.

En segundo lugar, ¿por qué configurar Robots.txt?

Un archivo Robots.txt correctamente configurado puede ayudar:

• Evitar que se incluyan contenidos duplicados o sin sentido(por ejemplo, back office, páginas de categorías, fichas)
• Proteger las páginas sensibles de la indexación
• Dirigir a los motores de búsqueda para que centren sus recursos de rastreo en las páginas de alto valor

Por ejemplo.WooCommerce Las tiendas suelen bloquear /cart/y/comprobación/ y otras páginas funcionales para evitar contenidos de baja calidad que puedan mermar el rendimiento SEO.

¿Cómo utilizar el plugin Yoast SEO para ver el archivo Robots.txt?

El plugin Yoast SEO para WordPress proporciona una funcionalidad integrada de visualización y edición de archivos Robots.txt sin necesidad de acceder manualmente al alojamiento o FTP.

Los pasos son los siguientes:

• Inicie sesión en el backend de WordPress
• Ir al menú:Yoast SEO → Herramientas

• Haga clic en [File Editor] (Editor de archivos)

• Si su sitio permite la edición, el contenido actual de Robots.txt se mostrará en la página

Si el archivo aún no existe, Yoast SEO proporciona un botón "Crear" que genera automáticamente el archivo en el directorio raíz del sitio web. robots.txt.

¿Cómo modificar el archivo Robots.txt?

En la página [Editor de archivos], puede editar directamente el contenido de Robots.txt, por ejemplo:

User-agent: *
No permitir: /wp-admin/
Permitir: /wp-admin/admin-ajax.php
Disallow: /etiqueta/
Disallow: /autor/
Mapa del sitio: https://yourdomain.com/sitemap_index.xml

Cuando haya terminado de editarlo, haga clic en el botón [Guardar cambios] para actualizar el archivo robots.txt.

V. Ejemplos comunes de configuración de Robots.txt

Configuración estándar (se adapta a la mayoría de los sitios de WordPress):

User-agent: *
No permitir: /wp-admin/
Permitir: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /etiqueta/
Disallow: /autor/
Mapa del sitio: https://yourdomain.com/sitemap_index.xml

Configuraciones de privacidad mejoradas:

User-agent: *
No permitir: /wp-login.php
Disallow: /wp-register.php
No admitir: /checkout/
Disallow: /cart/

Nota: No bloquee el siguiente contenido, de lo contrario afectará al efecto de visualización de la página

Disallow: /wp-content/themes/
Disallow: /wp-content/plugins/

Esto evitará que los motores de búsqueda carguen CSS/JSque afecta a las puntuaciones de usabilidad móvil.

VI. Compruebe que Robots.txt está en vigor

Una vez completada la configuración, puede acceder a ella a través de su navegador:

https://yourdomain.com/robots.txt

Asegúrese de que el contenido es coherente con el del editor Yoast. También se recomiendan las siguientes herramientas para realizar pruebas:

• Consola de búsqueda de Google → Comprobar la herramienta del sitio web
• Araña SEO Screaming Frog
• Herramienta de auditoría de sitios Ahrefs

VII. Resumen y recomendaciones

El archivo Robots.txt puede ser pequeño, pero juega un papel importante en tu estrategia SEO. Con el plugin Yoast SEO, es fácil gestionar este archivo crítico sin entrar en el servidor. Se recomienda que compruebe y actualice Robots.txt regularmente para asegurarse de que su estrategia de rastreo de motores de búsqueda está alineada con la estructura de su sitio web y sus objetivos de marketing.

Práctica recomendada:

• Bloquear páginas de baja calidad, duplicadas o privadas
• reserva Mapa del sitio Direcciones, indexación favorable
• Evitar el bloqueo de la carga de archivos CSS/JS

Contacte con nosotros
¿No puede leer el tutorial? Póngase en contacto con nosotros para obtener una respuesta gratuita. Ayuda gratuita para sitios personales y de pequeñas empresas	Servicio de atención al cliente WeChat
① Tel: 020-2206-9892
② QQ咨询：1025174874
(iii) Correo electrónico: info@361sale.com
④ Horario de trabajo: de lunes a viernes, de 9:30 a 18:30, días festivos libres