Utilisez robots.txt et noindex pour mettre en place un contrôle hiérarchisé du crawling et de l'indexation, en définissant clairement quelles pages fonctionnelles, pages d'archives et pages de pièces jointes doivent être bloquées ou autorisées. Utilisez Robots Meta pour établir des règles par défaut faciles à maintenir.