AI 웹 사이트 콘텐츠 크롤링에 대한 제안 된 표준 LLMS.txt를 만나십시오.

호주 기술자 인 Jeremy Howard는 LLMS (Language Models) 액세스 및 인덱스 웹 사이트 콘텐츠를 개선하도록 설계된 새로운 표준 llms.txt 제안합니다. robots.txt 및 XML Sitemaps와 유사한이 표준은 LLM의 프로세스를 간소화하여 웹 사이트 소유자에게 자원의 긴장을 줄이면서 웹 사이트 소유자에게 더 많은 제어를 제공하는 것을 목표로합니다. 핵심 기능은 "전체 콘텐츠 아파트"이며, 브랜드 및 컨텐츠 제작자 모두에게 이점을 제공합니다.

이 제안은 상당한 관심을 불러 일으켰지 만 비판에 직면 해 있습니다. 그러나 AI 생성 컨텐츠의 빠른 진화를 고려할 때 llms.txt 신중한 고려를 보증합니다.

AI 웹 사이트 콘텐츠 접근성을위한 새로운 표준

컨텐츠 제작자 권리 및 데이터 제어, 특히 LLM 교육 데이터와 관련하여 SXSW Interactive 2024에서 모멘텀을 얻었습니다. 다른 제안이 존재하는 반면, llms.txt 는 앞서 도입 된 컨텐츠 제어 증가를위한 잠재적으로 더 간단한 솔루션을 제공합니다. 이러한 제안은 상호 배타적이지 않지만 llms.txt 개발에서 더 발전된 것으로 보입니다.

Howard의 제안은 Simple Markdown을 사용하여 웹 사이트 크롤링 및 인덱싱 표준을 만듭니다. LLM이 방대한 양의 웹 컨텐츠를 소비하고 생성함으로써 웹 사이트 소유자는 데이터 사용 방식을 더 잘 제어 할 수 있습니다. llms.txt LLM이 크롤링에 덜 초점을 맞추고 핵심 "지능"기능에 더 집중할 수있게함으로써이를 해결하는 것을 목표로합니다.

이 기사는 다음과 같습니다.

• llms.txt 의 것과 그 기능.
• 실제로 작동하는 방식.
• 그 가치에 대한 다른 관점.
• LLM 및 웹 사이트 소유자 간의 현재 채택률.
• 왜 주목 할만한가.

llms.txt 및 그 기능을 이해합니다

Howard의 제안은 "대형 언어 모델은 웹 사이트 정보에 점점 더 의존하지만 중요한 한계에 직면합니다. 컨텍스트 창은 대부분의 웹 사이트를 전체적으로 처리하기에는 너무 작습니다. 복잡한 HTML 페이지를 내비게이션, 광고 및 /llms.txt 를 LLM 친화적 인 일반 텍스트로 변환하는 것은 어렵고 부정확합니다.

llms.txt 사용하면 웹 사이트 소유자가 AI 모델에서 컨텐츠에 액세스하고 사용할 수있는 방법을 지정할 수 있습니다. robots.txt 와 달리 액세스를 차단하지 않고 AI 플랫폼에 컨텐츠가 제시되는 방법을 안내합니다. 여기에는 웹 사이트 구조에 따라 구성된 특정 섹션, 요약 또는 전체 웹 사이트 텍스트의 URL을 제공하는 것이 포함될 수 있습니다.

한 가지 예는 전체 웹 사이트의 평평한 텍스트를 포함하는 10 만 단어를 초과하는 llms.txt 파일을 보여줍니다. 그러나 파일 크기는 웹 사이트 콘텐츠에 따라 크게 다를 수 있습니다. 개별 페이지의 Markdown (.md) 버전도 작성할 수 있습니다.

llms.txt 또는 llms-full.txt 파일 생성

프로세스의 단순성은 주목할 만하다. 웹 사이트를 핵심 텍스트 본질로 줄여 컨텐츠 개발, 사이트 분석 및 엔티티 연구를 포함한 다양한 응용 프로그램에 대한 구문 분석을 단순화합니다. 표준화 된 방법을 사용하면 웹 사이트 소유자가 LLM이 컨텐츠를 사용하는 방법을 제어 할 수 있습니다.

이 프로토콜은 기술 리더와 SEO 전문가들 사이에서 견인력을 얻고 있습니다. 관련성을 향상시킬 수있는 잠재력은 LLM, 웹 사이트 소유자 및보다 정확한 정보를 찾는 사용자에게 이익이됩니다. llms.txt 웹 사이트의 루트 디렉토리에 간단한 텍스트 파일을 사용하여 robots.txt 와 유사하게 작동하지만 robots.txt 지시문이 llms.txt 에 포함되지 않음 을 이해하는 것이 중요합니다.

llms.txt 구현의 예 :

몇몇 저명한 조직이 인류, 포옹 얼굴, 당혹감 및 Zapier를 포함하여 llms.txt 채택하거나 탐색하고 있습니다. llms.txt 허브는이 표준을 사용하여 AI 개발자를 식별하기위한 리소스 역할을합니다.

llms.txt 파일 생성 도구 :

몇 가지 도구는 소규모 웹 사이트의 무료 옵션에서 더 큰 제품을위한 사용자 정의 솔루션에 이르기까지 llms.txt 파일을 생성하는 데 도움이됩니다. 웹 사이트 소유자는 자체 도구를 개발할 수도 있습니다. 그러나 배포 전에 외부 도구의 철저한 보안 검사가 중요합니다. 예를 들어 Markdowner, Appify, 웹 사이트 LLM (WordPress 플러그인) 및 FireCrawl이 있습니다.

SEO와 GEO에 대한 중요성

AI 모델이 웹 사이트 콘텐츠와 상호 작용하는 방식을 제어하는 ​​것이 중요합니다. 평평한 웹 사이트 버전은 AI 추출, 교육 및 분석을 단순화합니다. 혜택은 다음과 같습니다.

• 독점 콘텐츠 보호 : (준수 LLMS 용)
• 브랜드 평판 관리 : 이론적으로 AI 생성 응답에 정보가 어떻게 나타나는지를 제어합니다.
• 향상된 언어 및 콘텐츠 분석 : 키워드 빈도 및 엔티티 분석과 같은 다양한 분석을 용이하게합니다.
• 개선 된 AI 상호 작용 : LLM이 정확하고 관련 정보를 검색 할 수 있도록합니다.
• 컨텐츠 가시성 향상 : AI 기반 검색 결과의 가시성을 잠재적으로 향상시킵니다.
• 더 나은 AI 성능 : LLMS가 귀중한 컨텐츠에 액세스하여보다 정확한 응답으로 이어집니다.
• 경쟁 우위 : 웹 사이트를 AI-Ready로 포지셔닝합니다.

도전과 한계

잠재력에도 불구하고 llms.txt 과제에 직면합니다.

• AI 회사의 채택 : 모든 AI 회사가 준수 할 수있는 것은 아닙니다.
• 웹 사이트 채택 : 웹 사이트 소유자에 의한 광범위한 채택은 성공을 위해 중요합니다.
• 다른 프로토콜과 겹치십시오 : robots.txt 및 xml siteemaps와의 잠재적 충돌.
• 오용 가능성 : 키워드 스터핑 또는 기타 조작 기술의 가능성.
• 경쟁 업체에 대한 노출 : 경쟁력있는 분석이 더 쉬워집니다.

일부 SEO/GEO 전문가는 LLM과 검색 엔진의 구별이 흐려져 llms.txt 덜 관련성이 있다고 주장하면서 예약을 표현합니다. 다른 사람들은 robots.txt 및 xml sitemaps와 같은 기존 프로토콜로 충분하다고 생각합니다.

llms.txt 및 AI 컨텐츠 거버넌스의 미래

llms.txt AI 혁신의 컨텐츠 소유권 권리와 균형을 맞추려는 초기 시도를 나타냅니다. 광범위한 채택은 업계 지원, 웹 사이트 소유자 참여, 규제 개발 및 AI 회사 규정 준수에 달려 있습니다. 정보를 유지하고 컨텐츠 전략을 적용하는 것은 웹 사이트 소유자에게 중요합니다.

llms.txt 보다 투명하고 제어 된 AI 컨텐츠 생태계에 기여합니다. 사전 구현은 디지털 자산을 보호하고 웹 사이트와의 LLM 상호 작용을 향상시킵니다. AI 상호 작용에 대한 정의 된 전략은 온라인 검색 및 컨텐츠 배포의 진화하는 환경에서 필수적입니다.

llms.txt 현재 확립 된 표준과 관행이 부족한 GEO에 어느 정도의 과학적 엄격함을 소개 할 수 있습니다. 정보 검색을 위해 LLM에 점점 더 의존하는 세계에서 잠재적 인 이점을 제공합니다. 광범위한 채택은 여전히 ​​불확실하지만, 잠재적 혜택은 고려와 구현을 보증하기에 충분히 중요합니다.

위 내용은 AI 웹 사이트 콘텐츠 크롤링에 대한 제안 된 표준 LLMS.txt를 만나십시오.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!