「両方置けば安心」という誤解
AI検索対策の情報を調べていると、「robots.txtとllms.txtを両方設置しましょう」という説明をよく見かけます。間違いではありませんが、この2つはまったく別の役割を持つファイルです。役割を混同したまま設置すると、「llms.txtを置いたのにAIのクロール量が減らない」「robots.txtで拒否したのにAIに情報が出てこない」といった誤解が生まれます。
robots.txt：クロールの許可・拒否を伝える仕組み
robots.txtは、どのURLをクロールしてよいかをクローラーに伝えるファイルで、2022年にRFC 9309として正式な標準になりました。法的な強制力はなく、あくまで「お願いベース」の仕組みですが、OpenAI・Anthropic・Google・Perplexityなど主要なAI事業者は自社クローラーのユーザーエージェント名を公開し、標準的なディレクティブに従うと表明しています。[1]
重要なのは、多くの事業者が「学習用」と「検索・引用用」のクローラーを分けている点です。
- GPTBot（OpenAI）：モデルの学習データ収集用
- OAI-SearchBot（OpenAI）：ChatGPT検索での引用用。学習には影響しない
- ClaudeBot（Anthropic）：学習用
- Claude-SearchBot（Anthropic）：Claudeの検索インデックス用
- Google-Extended：AI学習・AI Overviews専用。ブロックしても通常のGoogle検索順位には影響しない
- PerplexityBot：Perplexityの回答生成用
つまりrobots.txtを使えば、「学習には使われたくないが、AIの回答には引用されたい」といった目的別の設定が可能です。[1]
llms.txt：AIへのコンテンツ案内であり、アクセス制御ではない
一方llms.txtは、サイトの要点をMarkdown形式でまとめた「AI向けの目次」のようなファイルで、2024年に提案された比較的新しい仕組みです。Allow・Disallowといったクロールを制御する概念は存在せず、読みに来たAIツールに文脈を渡すことだけを目的としています。[1]
2026年7月時点の調査では、次のような実態が指摘されています。
- llms.txtの設置率は低い水準にとどまる（世界トップ1,000サイトで8.7%。Rankability調べ／2026年6月時点。当社が独自に調査した国内542社では、本格的に対応していたのは20社＝3.7%でした）
- GPTBot・ClaudeBot・PerplexityBot・OAI-SearchBot・Google-Extendedなど主要なAIクローラーの多くは、実際にはllms.txtを読みに行かずHTMLを直接クロールしている
- Googleの検索アドボケートは、llms.txtを検索やクロールのシグナルとして使っていないと明言しており、かつて機能しなくなった「meta keywordsタグ」に例えて否定的な評価をしている
- 2026年8月時点で、llms.txtをアクセス制御・学習可否の判断材料として採用すると公式に表明した大手AI事業者はない
つまりllms.txtは、「置けばAIのクロールをコントロールできる」ものではなく、あくまで一部のAI開発ツール（コーディング支援AIなど）が参照する補助的な案内資料という位置づけが実情に近いと言えます。[1]
AI検索対策として、どちらを優先すべきか
まず優先すべきはrobots.txtです。「学習に使われたくないコンテンツ」と「AIの回答に引用してほしいコンテンツ」を分けて考え、目的別クローラーへの許可・拒否を明確にすることが、実際に効果を持つ数少ない設定です。
llms.txtは、robots.txtの代わりにはなりません。設置すること自体に大きなコストはかからず、将来的にAI側の対応が進む可能性もあるため「やらないよりはやっておく」程度の位置づけで問題ありませんが、これを設置しただけで満足してしまうと、本来コントロールできるはずのクロール方針が手つかずのまま残ってしまいます。
まとめ
- robots.txt（RFC 9309）はクロールの許可・拒否を伝える仕組みで、主要AI事業者は学習用・検索用でクローラーを分けており、目的別の制御が可能
- llms.txtはAIへのコンテンツ案内であり、アクセスを制御する機能を持たない。設置率は9〜10%程度、主要クローラーの多くは実際には参照していない
- AI検索対策としてまず着手すべきはrobots.txtの目的別設定。llms.txtは補助的な位置づけとして考える
監修：Gov Sync株式会社 AI検索最適化サービス担当 水野 明日香／最終更新日：2026年8月11日