AI Webサイトのコンテンツクロールの提案された標準であるLLMS.TXTに会います

オーストラリアの技術者であるジェレミー・ハワードは、新しい標準であるllms.txtを提案しています。これは、言語モデル（LLM）アクセスとインデックスのWebサイトコンテンツを改善するために設計されています。この標準は、 robots.txtおよびXML Sitemapsと同様に、LLMSのプロセスを合理化し、ウェブサイトの所有者により多くの制御を提供しながら、リソースの負担を軽減することを目指しています。重要な機能は、「完全なコンテンツフラッティング」であり、ブランドとコンテンツクリエイターの両方にメリットを提供します。

この提案はかなりの関心を生み出していますが、批判にも直面しています。ただし、AIに生成されたコンテンツの急速な進化を考えると、 llms.txt慎重に検討する必要があります。

AI Webサイトのコンテンツアクセシビリティの新しい標準

特にLLMトレーニングデータに関するコンテンツ作成者の権利とデータ制御に関する議論は、SXSW Interactive 2024で勢いを増しました。他の提案は存在しますが、以前に導入されたllms.txtは、コンテンツ制御の増加に対する潜在的に簡単なソリューションを提供します。これらの提案は相互に排他的ではありませんが、 llms.txt開発がより高度に見えます。

ハワードの提案は、Simple Markdownを利用して、Webサイトクロールとインデックス標準を作成します。 LLMが膨大な量のWebコンテンツを消費して生成することで、Webサイトの所有者は、データの使用方法をますますより良い制御を求めています。 llms.txt 、LLMSがクロールにあまり集中しないようにすることにより、これに対処することを目指しています。

この記事では、

• llms.txtとその機能。
• 実際にどのように機能するか。
• その価値に関するさまざまな視点。
• LLMSおよびWebサイトの所有者における現在の採用率。
• なぜそれが注意に値するのか。

llms.txtとその機能の理解

Howardの提案は次のように述べています。「ウェブサイト情報にますます依存していますが、重大な制限に直面しています。コンテキストウィンドウは、ほとんどのWebサイト全体を処理できません。 /llms.txt 、広告、JavaScriptを使用して複雑なHTMLページをLLMに優しいプレーンテキストに変換することは困難であり、不正確です。

llms.txt使用すると、Webサイトの所有者は、AIモデルがコンテンツにアクセスして使用する方法を指定できます。 robots.txtとは異なり、アクセスをブロックするのではなく、コンテンツがAIプラットフォームにどのように表示されるかをガイドします。これには、Webサイト構造に従って編成された1つまたは複数のファイルで、特定のセクション、要約、または完全なWebサイトテキストのURLを提供することが含まれます。

1つの例は、Webサイト全体の平らなテキストを含む100,000語を超えるllms.txtファイルを示しています。ただし、ファイルサイズは、Webサイトのコンテンツによって大きく異なる場合があります。個々のページのMarkDown（.MD）バージョンも作成できます。

llms.txtまたはllms-full.txtファイルの生成

プロセスのシンプルさは注目に値します。ウェブサイトをコアテキストの本質に削減し、コンテンツ開発、サイト分析、エンティティ調査など、さまざまなアプリケーションの解析を簡素化します。標準化された方法により、Webサイトの所有者はLLMSがコンテンツを使用する方法を制御できます。

このプロトコルは、技術リーダーとSEOの専門家の間で牽引力を獲得しています。関連性を強化する可能性は、LLMS、ウェブサイトの所有者、およびより正確な情報を求めているユーザーに利益をもたらします。 llms.txt 、Webサイトのルートディレクトリで単純なテキストファイルを使用してrobots.txtと同様に機能しますが、 robots.txtディレクティブがllms.txtに含まれていないことを理解することが重要です。

llms.txt実装の例：

いくつかの著名な組織が、人類、抱きしめの顔、困惑、Zapierなど、 llms.txtを採用または調査しています。 llms.txtハブは、この標準を使用してAI開発者を識別するためのリソースとして機能します。

llms.txtファイルを生成するためのツール：

いくつかのツールは、小さなWebサイト用の無料オプションから、より大きなソリューションのカスタムソリューションに至るまで、 llms.txtファイルの生成を支援します。ウェブサイトの所有者は、独自のツールを開発することもできます。ただし、外部ツールの徹底的なセキュリティ審査は、展開前に重要です。例には、Markdoderer、Appify、WebサイトLLMS（WordPressプラグイン）、Firecrawlが含まれます。

SEOとGeoの重要性

AIモデルがWebサイトのコンテンツとどのように相互作用するかを制御することが重要です。フラット化されたWebサイトバージョンは、AIの抽出、トレーニング、および分析を簡素化します。利点は次のとおりです。

• 独自のコンテンツを保護する:(準拠のLLMのため）
• ブランド評判管理：理論的には、AIの生成された応答で情報がどのように表示されるかを制御します。
• 強化された言語およびコンテンツ分析：キーワード頻度やエンティティ分析など、さまざまな分析を促進します。
• 改善されたAI相互作用： LLMが正確で関連する情報を取得できるようにします。
• コンテンツの可視性の向上： AI搭載の検索結果の可視性が潜在的に向上します。
• AIパフォーマンスの向上： LLMSが貴重なコンテンツにアクセスし、より正確な応答につながるようにします。
• 競争上の優位性： WebサイトをよりAIの準備を整えています。

課題と制限

その可能性にもかかわらず、 llms.txt課題に直面しています：

• AI企業による採用：すべてのAI企業が遵守するわけではありません。
• ウェブサイトの採用：ウェブサイトの所有者による広範な採用は、成功に不可欠です。
• 他のプロトコルと重複する： robots.txtおよびXMLサイトマップとの潜在的な競合。
• 誤用の可能性：キーワードの詰め物やその他の操作技術の可能性。
• 競合他社への露出：競争の容易な分析を促進します。

一部のSEO/GEOの専門家は留保を表明し、LLMSと検索エンジンの区別がぼやけていると主張しており、 llms.txtの関連性が低下していると主張しています。他の人は、 robots.txtやXMLサイトマップなどの既存のプロトコルで十分であると考えています。

llms.txtおよびAIコンテンツガバナンスの将来

llms.txt 、AIのイノベーションとコンテンツの所有権のバランスをとる初期の試みを表しています。その広範な採用は、業界のサポート、ウェブサイトの所有者の参加、規制の開発、およびAI会社のコンプライアンスに依存します。情報に基づいていることとコンテンツ戦略の適応は、ウェブサイトの所有者にとって重要です。

llms.txt 、より透明で制御されたAIコンテンツエコシステムに貢献します。プロアクティブな実装は、デジタル資産を保護し、WebサイトとのLLM相互作用を改善します。 AI相互作用のための定義された戦略は、オンライン検索とコンテンツの分布の進化する状況に不可欠です。

llms.txt 、現在確立された基準と慣行が不足しているGEOにある程度の科学的厳密さを導入することができます。情報の検索のために、LLMSにますます依存する世界で潜在的な利点を提供します。広範囲にわたる採用は不確実なままですが、潜在的な利益は考慮と実施を保証するのに十分なほど重要です。

以上がAI Webサイトのコンテンツクロールの提案された標準であるLLMS.TXTに会いますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。