认识LLMS.TXT，这是AI网站内容爬网的拟议标准

澳大利亚技术专家杰里米·霍华德（Jeremy Howard）提出了一个新的标准llms.txt ，旨在改善大型语言模型（LLMS）访问和索引网站内容。该标准类似于robots.txt和XML站点地图，旨在简化LLMS的过程，减少其资源的压力，同时为网站所有者提供更多控制权。一个关键功能是“完整内容变平”，为品牌和内容创建者提供了好处。

尽管该提案引起了极大的兴趣，但它也面临批评。但是，鉴于AI生成的含量的快速发展， llms.txt值得仔细考虑。

AI网站内容可访问性的新标准

关于内容创建者权利和数据控制的讨论，尤其是关于LLM培训数据的讨论，在SXSW Interactive 2024中获得了动力。尽管存在其他建议，但llms.txt （前面介绍）为增加内容控制提供了更简单的解决方案。这些建议不是互斥的，但是llms.txt在其发展中似乎更为先进。

霍华德的提案利用简单的标记来创建网站爬网和索引标准。随着LLM的消费和生成大量的Web内容，网站所有者越来越多地寻求更好地控制其数据的使用方式。 llms.txt的目的是通过允许LLMS减少爬网和更多地关注其核心“智能”功能来解决这一问题。

本文探讨了：

• llms.txt是什么及其功能。
• 它在实践中的工作方式。
• 关于其价值的不同观点。
• LLM和网站所有者的当前采用率。
• 为什么它值得关注。

了解llms.txt及其功能

霍华德的提议指出：“大型语言模型越来越依赖网站信息，但是面对关键的限制：上下文窗口太小，无法完整地处理大多数网站。将复杂的HTML页面与导航，ADS和JavaScript转换为LLM友好型纯文本，既困难又不精确...我们建议添加A /llms.txt Markdey Firce to a /llm offiry wird offry wird offry offry offry友好llmmmieldlmmm firm llmmmield offrmm fird llmm firce''''''''''''''''''''''''''''

llms.txt允许网站所有者指定AI模型如何访问和使用其内容。与robots.txt不同，它不会阻止访问，而是指导内容如何显示给AI平台。这可能涉及根据网站结构组织的一个或多个文件中的一个或多个文件中的特定部分，摘要或完整的网站文本。

一个示例显示了一个超过100,000个单词的llms.txt文件，其中包含整个网站扁平的文本。但是，根据网站内容，文件大小可能会大不相同。也可以创建单个页面的降价（.md）版本。

生成llms.txt或llms-full.txt文件

该过程的简单性值得注意。它将网站减少到其核心文本本质，简化各种应用程序的解析，包括内容开发，网站分析和实体研究。标准化方法允许网站所有者控制LLM的使用方式。

该协议正在吸引科技领导者和SEO专业人员之间。它增强相关性的潜力有益于LLM，网站所有者和寻求更准确信息的用户。 llms.txt在网站的根目录中使用简单的文本文件时的功能类似于robots.txt ，但要理解robots.txt指令不包含在llms.txt中。

llms.txt实施的示例：

几个著名的组织已经采用或正在探索llms.txt ，包括拟人，拥抱的脸，困惑和Zapier。 llms.txt HUB是使用此标准识别AI开发人员的资源。

生成llms.txt文件的工具：

几种工具有助于生成llms.txt文件，从较小网站的免费选项到较大较大的网站的自定义解决方案。网站所有者还可以开发自己的工具。但是，在部署之前，对任何外部工具的彻底安全审查至关重要。示例包括Markdowner，Aptify，网站LLM（WordPress插件）和FireCrawl。

SEO和GEO的意义

控制AI模型与网站内容交互的方式至关重要。扁平的网站版本简化了AI提取，培训和分析。好处包括：

• 保护专有内容：（适用于合规性LLM）
• 品牌声誉管理：理论上提供了对AI生成的响应中信息如何出现的控制。
• 增强的语言和内容分析：促进了各种分析，例如关键字频率和实体分析。
• 改进的AI相互作用：使LLM能够检索准确且相关的信息。
• 提高内容可见性：有可能提高AI驱动搜索结果的可见性。
• 更好的AI性能：确保LLMS访问有价值的内容，从而获得更准确的响应。
• 竞争优势：将网站定位为更高的AI-Ready。

挑战和局限性

尽管有潜力，但llms.txt仍面临挑战：

• AI公司的收养：并非所有的AI公司都可以遵守。
• 网站采用：网站所有者的广泛采用对于成功至关重要。
• 与其他协议重叠：潜在的与robots.txt和XML站点地图的冲突。
• 滥用的潜力：关键字填充或其他操纵技术的可能性。
• 接触竞争者：促进更容易的竞争分析。

一些SEO/GEO专业人员表示保留，认为LLMS和搜索引擎之间的区别是模糊的，使llms.txt相关性较小。其他人则认为现有协议（例如robots.txt和XML站点地图）就足够了。

llms.txt和AI内容治理的未来

llms.txt代表了平衡AI创新与内容所有权的早期尝试。它的广泛采用取决于行业支持，网站所有者的参与，监管发展和AI公司合规性。保持知情和调整内容策略对于网站所有者至关重要。

llms.txt有助于更透明和受控的AI内容生态系统。主动实施保障数字资产并改善了LLM与网站的交互。 AI相互作用的定义策略对于在线搜索和内容分布的不断发展的景观至关重要。

llms.txt可能会引入一定程度的科学严谨性，目前缺乏既定的标准和实践。它在一个越来越依赖LLM的世界中提供了潜在的优势来检索信息。尽管广泛采用仍然不确定，但潜在的收益足以保证考虑和实施。

以上是认识LLMS.TXT，这是AI网站内容爬网的拟议标准的详细内容。更多信息请关注PHP中文网其他相关文章！