robots.txtとnoindexを用いてクロールとインデックス登録を階層的に制御し、機能ページ・アーカイブページ・添付ファイルページで禁止すべき項目と許可すべき項目を明確化。Robots Metaでルールを維持可能なデフォルト値として設定する。