Guide complet de la configuration de WordPress Robots.txt : Conseils d'optimisation incontournables pour les débutants

Lors de l'optimisation d'un site web, leRobots.txt Souvent négligé. Mais pour les sites WordPress, ce petit fichier est comme le gardien de but, décidant du contenu que les moteurs de recherche voient. S'il est configuré correctement, les articles et les pages de produits seront indexés plus rapidement ; s'il est mal configuré, il peut même faire disparaître le site entier des résultats de recherche.

Qu'est-ce que Robots.txt ?

Robots.txt est un fichier texte placé dans le répertoire racine d'un site web. Les robots des moteurs de recherche consultent ce fichier avant d'entrer sur le site et décident ensuite s'ils peuvent accéder à certains répertoires conformément aux règles qu'il contient. Il ne supprime pas de pages, mais indique aux moteurs de recherche "ce qu'il faut regarder et ce qu'il ne faut pas regarder".

Un exemple :

• Vous voulez que les articles et les pages de catégories soient indexés, ouvrez-les.
• Vous pouvez désactiver l'accès si vous ne souhaitez pas que le backend ou les fichiers des plugins soient explorés.

WordPress par défaut

montage WordPress Ensuite, si le fichier Robots.txt n'est pas ajouté manuellement, les moteurs de recherche essaieront d'explorer tout le contenu. Cela n'affectera pas l'inclusion de base, mais la question est la suivante :

• peut gaspiller les ressources de l'ordinateur sur des fichiers inutiles.
• Certains chemins de backend ou de plugin peuvent être inclus sans signification.
• Les pages dupliquées telles que les onglets occupent de l'espace dans l'index et affectent le poids du contenu principal.

Une allocation rationnelle est donc nécessaire.

Pourquoi dois-je configurer Robots.txt ?

• Économies de ressourcesLes moteurs de recherche ne perdent pas de temps à explorer des pages non pertinentes.
• se concentrer surLes pages d'articles, les pages de catégories et les pages de produits ont plus de chances d'être remarquées.
• Protection de la vie privéeLes fichiers d'arrière-plan et les fichiers système ne doivent pas être exposés.
• Améliorer la vitesse d'inclusion: Coopération Plan du sitequi permet d'accélérer la mise en ligne de nouveaux contenus.

Exemples courants de WordPress Robots.txt

Voici une configuration de base courante :

User-agent : *
Disallow : /wp-admin/
Disallow : /wp-includes/
Disallow : /wp-content/plugins/
Refus : /wp-content/cache/
Refus : /readme.html
Autoriser : /wp-admin/admin-ajax.php

Plan du site : https://www.example.com/sitemap_index.xml

Description des règles

• User-agent : *: cela signifie qu'il fonctionne pour tous les moteurs de recherche.
• DésactiverRépertoire dont l'accès est interdit.
• AutoriserDocuments dont l'accès est autorisé.
• Plan du site: Indiquer aux moteurs de recherche où se trouve le plan du site.

Priorités de configuration pour différents types de sites web

1. le site du blog

L'accent est mis sur les articles et les petites annonces, et les onglets peuvent être bloqués :

Disallow : /tag/

2. les sites de commerce électronique

Les pages de produits et de catégories doivent être protégées, les paniers d'achat bloqués, etc :

Disallow : /cart/
Disallow : /checkout/
Disallow : /moncompte/

3. site vitrine de l'entreprise

Avec moins de contenu, vous pouvez vous contenter de bloquer les fichiers d'arrière-plan et les fichiers système et rester simple.

Le rôle du plan du site

existent Robots.txt L'inclusion de l'adresse du plan du site dans le fichier permet aux moteurs de recherche de trouver plus rapidement les pages importantes de votre site web. En voici un exemple :

Plan du site : https://www.example.com/sitemap.xml

Ainsi, les articles, les catégories et les pages de produits sont explorés en premier.

erreur commune

• Blocage d'un trop grand nombre de catalogues: Le répertoire entier /wp-content/ a été bloqué par erreur et les images n'ont pas pu être incluses.
• Oublié d'ajouter le plan du siteLa mise en place de nouveaux contenus se fait lentement.
• Mauvais chemin: :WordPress Respectez la casse et entrez correctement.
• non mis à jourLes contrôles sont effectués en temps utile après l'ajout de nouveaux plug-ins ou la réorganisation du site.

Comment vérifier si le fichier Robots.txt est valide ?

Ouvrez votre navigateur et tapez dans la barre d'adresse :

https://你的域名/robots.txt

Le fait qu'il s'affiche correctement signifie que le fichier a pris effet. Vous pouvez également tester les règles de crawl dans Google Search Console pour voir s'il y a un problème.

Installation du plugin SEO (recommandé pour les débutants)

La façon la plus simple de le faire est d'utiliser un plugin WordPress SEO comme :

• Rank Math SEO
• Yoast SEO

Ces plugins permettent d'éditer le fichier Robots.txt sans avoir à se connecter au serveur.

Procédure étape par étape (en utilisant Rank Math comme exemple) :

• Se connecter au backend de WordPress → Rank Math → Paramètres généraux → Modifier le fichier robots.txt

• Saisissez la règle dans la boîte d'édition (comme dans l'exemple décrit précédemment).
• Enregistrez les paramètres et le fichier est automatiquement généré et prend effet.

résumés

Le fichier Robots.txt peut sembler simple, mais il est directement lié à l'outil de gestion de l'information de l'entreprise. WordPress L'inclusion du site. Une configuration raisonnable permet aux moteurs de recherche de trouver rapidement le contenu utile et de réduire l'inefficacité du crawling.

Contactez nous
Vous n'arrivez pas à lire le tutoriel ? Contactez-nous pour une réponse gratuite ! Aide gratuite pour les sites personnels et les sites de petites entreprises !	Service clientèle WeChat
① Tel : 020-2206-9892
② QQ咨询：1025174874
(iii) Courriel : info@361sale.com
④ Horaires de travail : du lundi au vendredi, de 9h30 à 18h30, jours fériés.