この記事は英語から翻訳しています。元の記事を読むには 元の記事を読むにはこちらをクリックしてください また、内容に問題がある場合は、遠慮なく report-osteam@semrush.comまでご連絡ください。
LLMs.txt とは何ですか?
llms.txt ファイルは、大規模言語モデル (LLM) が Web サイトのコンテンツをより適切に理解して使用できるようにするための標準の提案です。
こちらが 公式仕様です:
アイデアは非常に単純です。AI クローラーにサイト内を自由に歩き回らせるのではなく、最も重要なコンテンツを厳選したリストを AI クローラーに提供するのです。 AI に、サイト上のどのコンテンツに実際に注意を払うべきかを伝えます。
検索エンジンがウェブサイトをより効率的にナビゲートできるようにするために、 robots.txt や サイトマップ などの標準がすでに存在しています。 llms.txt の違いは、コンテンツを使用してユーザーの質問に答えたり、応答を生成したりできる AI モデル向けに特別に設計されていることです。
また、llms.txt を実装すると、ウェブサイトの AI 生成応答の可視性が高まり、参照トラフィックが増加する可能性があるという推測もあります。
llms.txt を解凍して実装する価値があるかどうかを判断する前に、別の Web 標準を作成する必要がある理由を理解しましょう。
LLMs.txt はどのような問題を解決しようとしているのでしょうか?
llms.txt は、AI クローラーが Web サイトをより効率的に閲覧できるように設計されています。 現在、これらのクローラーは次の 2 つの大きな課題に直面しています。
- 最近のウェブサイトは読みにくいです。 ほとんどの AI クローラーは、ページの基本 HTML しか読み取れず、JavaScript によって読み込まれるコンテンツは読み取れません。 つまり、llms.txt は、AI クローラーが情報をすばやく理解するのに役立つ、明確で構造化された形式を提供します。
- ほとんどのウェブサイトには情報が多すぎます。 AI クローラーが Web サイトにアクセスするとき、必ずしも何が重要であるかを認識しているわけではありません。 役に立たないページ（古いブログ投稿など）をスクレイピングするのに時間を費やすと、最適ではない情報に基づいた応答が生成される場合があります。llms.txt はこの問題の解決に役立ちます。
llms.txt は、大規模な言語モデルのトレーニングにおける非効率性を軽減する可能性もあります。
LLM のトレーニングには膨大な計算コストがかかります。 llms.txt ガイダンスを使用すると、LLM が無関係なコンテンツにリソースを浪費する可能性が低くなります。
LLMs.txt ファイルの構造はどのようになっていますか?
提案された標準によれば、llms.txt ファイルは Markdown で構造化およびフォーマットされる必要があります。
Markdown は、プレーンテキストの書式設定構文を使用して構造化されたドキュメントを作成する軽量マークアップ言語です。 (これは開発者が GitHub README ファイルで使用するのと同じ形式で、AI システムによって簡単に解析できます。)
llms.txt ファイルで使用する一般的な Markdown 要素には次のようなものがあります。
- # は H1 見出し、## は H2 見出し、### は H3 見出しなどです。
- > は重要な説明を強調するための引用ブロックです
- 順序なしリストの箇条書きの場合は - または *
- コンテンツへのハイパーリンク用の[text](url)
- : リンクの横に説明を追加して、リンク先の情報を説明する
- 技術的な例を共有する際のコードブロック用の ```
公式の llms.txt 仕様には、ファイルがどのようになるかについての非常に基本的な例が示されています。 ただし、Web サイトが大きく複雑な場合は、H3 や H4 を使用してサブセクションを作成したり、テーブルを組み込んでデータを整理したり、API の使用方法を示すコード スニペットを含めたりして、さらに構造を追加する必要があるかもしれません。
それは何も悪いことではありません。 Markdown ファイルは AI クローラーによって完全に読み取ることができるため、有効な構文を使用している限り安全です。 追加の構造により、実際には AI クローラーにさらに多くのコンテキストが提供される場合があります。
基本仕様に従った簡単な例を次に示します。
# 会社名
>会社の事業内容の簡単な説明
## 製品
- [製品 1](https://example.com/product-1): この製品の説明
- [製品 2](https://example.com/product-2): この製品の説明
## ドキュメント
- [はじめに](https://example.com/docs/getting-started): プラットフォームの紹介
- [API リファレンス](https://example.com/api): 完全な API ドキュメントブランドは LLMs.txt 標準を使用していますか?
はい、一部の SaaS および開発者向け企業では、すでに自社の Web サイトで llms.txt ファイルを使用しています。
しかし、全体的な採用はかなりニッチです。 NerdyData によると、2025 年 7 月時点で llms.txt ファイルを公開していたのは 951 ドメイン (Web のごく一部) のみでした。
以下に企業の例を挙げます。
| ブランド | ファイルの焦点 | 全体構造 |
| 開発者向けドキュメント | 複数レベルの見出し (#、##、###、####) を使用して、コンテンツを個別のセクションに分割します。 また、完全なコード例、多数のリンク、役立つメモも全体にわたって含まれています。 全体として、包括的な知識ベースのように感じます。 | |
| 開発者向けドキュメント | 先頭には title:、description:、tags: などの説明行が続き、それに続く特定のドキュメントについての概要を示します。 また、明確なヘッダー (#、##、###) を使用して、コンテンツを論理的なセクションに整理します。 各セクションの下には、ステップバイステップの手順と実用的なコード例が記載されています。 | |
| 開発者向けドキュメント | 少数の見出しを使用し、非常に基本的な構造を作成します。 ほとんどの場合、リンクの長いリストと、その横にリンク先のページの説明が表示されます。 | |
| 開発者向けドキュメント | 上部に見出し (#、##) を使用し、その後、非常に長いリンク リストに直接ジャンプします。 リンクはセクションにグループ化されておらず、サブ見出し、要約、説明はありません。 |
各企業が llms.txt ファイルに対してどのように異なるアプローチをしているかに注目してください。 それぞれ異なる構造を使用します。
これには何も問題はありません。 有効な Markdown を使用している限り、ファイルは機械で読み取り可能であり、AI システムによって簡単に処理できます。
また、これらの企業のいずれも、自社の Web サイト全体に焦点を当てたファイルを持っていません。 それは彼らが個人的に選択したことです。 サイト全体または特定のセクションのみに焦点を当てたファイルを作成できます。
あなたのサイトで LLMs.txt を使うべきですか?
単に好奇心があって実験したいという場合を除き、現時点では llms.txt を使用するのは時間の無駄でしょう。
llms.txt は現在、大手 AI 企業で実際に使用されているものではなく、提案されている標準にすぎません。
OpenAI、Google、Anthropic などの LLM 企業はいずれも、Web サイトをクロールする際にこれらのファイルに従っていると公式には発表していません。
Google の John Mueller 氏も Bluesky でこれを確認しました。
そうは言っても、興味深い兆候もいくつかあります。
たとえば、Anthropic は自社の Web サイトで llms.txt ファイルを公開しています。 これは、彼らの AI クローラーが実際にこれらのファイルを使用しているという意味ではありませんが、少なくとも彼らがそのアイデアにオープンであることを示唆しています。
私たちはまだ、人々がファイルを実装し、いつか役に立つことを期待している初期の推測段階にあります。
Semrush はこのファイルを実装する予定ですか?
私たちは、姉妹サイトの 1 つである Search Engine Land に llms.txt を実装し、AI の可視性とトラフィックの点で有意義な利点があるかどうかを確認しました。 興味があれば、ファイル をこちら で確認できます。
今後数か月にわたって結果を監視し、調査結果をこの記事に更新します。
自分のサイトでも llms.txt を試してみたい場合は、以下に実装方法を段階的に説明します。
LLMs.txt ファイルを作成する方法（ステップバイステップ）
これは技術的な作業なので、次の 3 つの手順を実行する際に開発者をプロセスに参加させるのが最適です。
1. 特集したいコンテンツを決める
ファイルを作成する前に、AI クローラーに対して強調表示する Web サイトのページまたはセクションを決定します。
たとえば、Web サイト全体に対して llms.txt ファイルを作成したいとします。 少なくとも、次の点を考慮してください。
- 製品またはサービスのページ
- 最新のブログ投稿
- 価格ページ
- 会社概要ページ
- お問い合わせページ
これらは通常、あなたのビジネスが何を行っているか、どのように顧客をサポートしているかを AI に適切に伝えるページです。
2. ファイルを作成する
メモ帳や Visual Studio Code などのテキスト エディターを開き、llms.txt という名前の新しいファイルを作成します。
Markdown を使用してファイルをフォーマットする必要があります。 繰り返しになりますが、開発者はファイルの作成に役立ちます。
ファイルの構造は次のようになります。
# ウェブサイト名
>ウェブサイトの簡単な説明
重要な注意事項:
- ビジネスの主な差別化要因または重要な詳細
- 行っていること、行っていないことに関するもう 1 つの重要な注意事項
- 提供内容を定義するのに役立つ 3 番目の重要なポイント
## 製品
- [製品名 1](https://example.com/product-1): 製品の主な機能と利点の簡単な説明
- [製品名 2](https://example.com/product-2): 製品の主な機能と利点の簡単な説明
- [製品名 3](https://example.com/product-3): 製品の主な機能と利点の簡単な説明
## ブログ コンテンツ
- [ブログ投稿のタイトル 1](https://example.com/blog-post-1): このブログ投稿の内容とそれが役立つ理由の簡単な説明
- [ブログ投稿のタイトル 2](https://example.com/blog-post-2): このブログ投稿の内容とそれが役立つ理由の簡単な説明
- [ブログ投稿のタイトル 3](https://example.com/blog-post-3): このブログ投稿の内容とそれが役立つ理由の簡単な説明
## 会社
- [会社概要](https://example.com/about): 会社の背景、使命、およびチーム情報
- [お問い合わせ](https://example.com/contact): チームへの連絡方法
- [価格](https://example.com/pricing): 製品の使用に関するプラン、機能、およびコストの概要3. ファイルをウェブサイトにアップロードする
完成したファイルを適切な場所に配置して、AI クローラーが理論的に見つけられるようにします。
正確な場所は、llms.txt ファイルの範囲によって異なります。
- ウェブサイト全体をカバーする場合は、ルートディレクトリ（例：「https://[yourdomain].com」）にアップロードし、「https://[yourdomain.com]/llms.txt」でアクセスできるようにします。
- ファイルがドキュメントに関するものであれば、対応するサブディレクトリ（例：「https://[docs.yourdomain.com]/llms.txt」）に配置します。
実際にファイルをアップロードするには、開発者の助けが必要になります。 このファイルは、通常は cPanel などの Web ホスティング コントロール パネルを通じてサーバー上に配置する必要があります。
ホスティング プロバイダーにログインし、cPanel > ファイル マネージャーに移動します。
次に、正しいディレクトリに移動します。 llms.txt ファイルがサイト全体を対象としている場合は、public_html/ フォルダーに移動します。 (これはほとんどのドメインのルート ディレクトリです。)
「https://[docs.yourdomain.com]」のようなサブドメインの場合は、そのサブドメインに割り当てられたフォルダー（通常は /docs/ などの名前）に移動します。
そこに llms.txt ファイルをアップロードし、変更を保存します。
ファイルがアップロードされたら、新しいタブを開いて URL に直接アクセスし、すべてが機能していることを確認します。
また、Semrush の サイト監査 ツールを使用してウェブサイトの簡単な監査を実行し、llms.txt が正しく取得されていることを確認することもできます。
また、ファイルを定期的に更新することを忘れないでください。 定期的にリンクを確認して、古いページを削除します。 また、Web サイトに追加する新しいコンテンツへのリンクを追加します。