Utilice robots.txt y noindex para implementar un control por capas sobre el rastreo y la indexación, definiendo claramente qué páginas funcionales, páginas de archivo y páginas de archivos adjuntos deben bloquearse o permitirse. Utilice Robots Meta para establecer reglas predeterminadas fáciles de mantener.