검색 증거 세대가 장기 텍스트 언어 모델 시대에 여전히 관련이있는 이유

점점 더 강력한 대형 언어 모델 (LLM)의 맥락에서 검색 침전 생성 (RAG)의 진화를 탐구합시다. 우리는 LLM의 발전이 Rag의

필요성 에 어떤 영향을 미치는지 조사합니다. Rag의 간단한 역사

래그는 새로운 개념이 아닙니다. 현재 데이터에 대한 액세스를위한 LLM에 컨텍스트를 제공한다는 아이디어는 2020 Facebook AI/Meta 논문에 뿌리를두고 있습니다. 이 논문은 LLM에 대한 두 가지 유형의 메모리를 강조했다 :

파라 메트릭 메모리 :

LLM에 내재 된 지식은 방대한 텍스트 데이터 세트에 대한 교육 중에 얻은 지식입니다. 비모수 메모리 :

프롬프트 내에 제공된 외부 컨텍스트

원래 논문은 관련 문서를 검색하기 위해 의미 론적 검색을 위해 텍스트 임베드를 사용했지만 RAG에서 문서 검색을위한 유일한 방법은 아니지만. 그들의 연구는 RAG가 LLM 만 사용하는 것과 비교하여 더 정확하고 사실적인 반응을 일으켰다는 것을 보여 주었다. chatgpt 충격
• > Chatgpt의 2022 년 11 월 출시는 쿼리 답변에 대한 LLM의 잠재력을 보여 주지만 한계가 강조되었습니다. 제한된 지식 : llms는 교육 데이터 이외의 정보에 대한 액세스 권한이 부족합니다. 환각 : llms는 불확실성을 인정하기보다는 정보를 제작할 수 있습니다
• llms는 전적으로 훈련 데이터 및 프롬프트 입력에만 의존합니다. 이 범위를 벗어난 쿼리는 종종 제작 된 응답으로 이어집니다 rag의 상승과 개선 Rag는 사전 데이트 chatgpt이지만 2023 년에 광범위한 채택이 크게 증가했습니다. 핵심 개념은 간단합니다. LLM을 직접 쿼리하는 대신, 프롬프트 내에서 관련 컨텍스트 를 제공하고 LLM에 답변하도록 지시합니다. 그 맥락에서만
를 기반으로

프롬프트는 답변 생성을위한 LLM의 시작점 역할을합니다.

이 접근법은 환각을 크게 줄이고 최신 데이터에 대한 액세스를 가능하게하며 비즈니스 별 데이터의 사용을 촉진했습니다. Rag의 초기 한계 제한된 컨텍스트 창 크기에 중점을 둔 초기 과제. Chatgpt-3.5의 4K 토큰 한도 (약 3000 영어 단어)는 컨텍스트와 답변 길이의 양을 제한했습니다. 과도하게 긴 상황 (답변 길이 제한) 또는 불충분 한 상황 (중요한 정보의 누락 위험)을 피하기 위해 균형이 필요했습니다. 컨텍스트 창은 제한된 칠판처럼 작용합니다. 지시를위한 더 많은 공간은 대답을 위해 덜 남습니다 현재 풍경 그 이후로 주로 컨텍스트 창 크기와 관련하여 중요한 변화가 발생했습니다. GPT-4O (2024 년 5 월 출시)와 같은 모델은 128K 토큰 컨텍스트 창을 자랑하며 Google의 Gemini 1.5 (2024 년 2 월 이후 제공)는 1 백만 개의 토큰 창을 제공합니다. rag의 변화하는 역할 컨텍스트 창 크기의 이러한 증가는 논쟁을 일으켰습니다. 일부는 프롬프트 내에 전체 책을 포함시킬 수있는 능력으로 신중하게 선택된 컨텍스트에 대한 필요성이 줄어들고 있다고 주장합니다. 한 연구 (2024 년 7 월)조차도 긴 컨텍스트 프롬프트가 특정 시나리오에서 래그를 능가 할 수 있다고 제안했습니다.

검색 증강 생성 또는 장기 텍스트 LLM? 포괄적 인 연구 및 하이브리드 접근법

그러나 2024 년 9 월 (2024 년 9 월)은 이것에 대응하여 래그의 중요성을 강조하고 이전의 한계가 프롬프트 내의 맥락 요소의 순서에서 비롯되었음을 시사한다.

장기 텍스트 언어 모델 시대의 헝겊 방어

또 다른 관련 연구 (2023 년 7 월)는 긴 프롬프트 내에서 정보의 위치 영향을 강조했습니다.

중간에서 잃어버린 : 언어 모델이 긴 맥락을 사용하는 방법

프롬프트 시작시 정보는 중간에있는 정보보다 LLM에 의해 더 쉽게 활용됩니다. 래그의 미래 컨텍스트 창 크기의 발전에도 불구하고 Rag는 주로 비용 고려 사항으로 인해 중요합니다. 더 긴 프롬프트는 더 많은 처리 능력을 요구합니다. Rag는 프롬프트 크기를 필수 정보로 제한함으로써 계산 비용을 크게 줄입니다. Rag의 미래에는 비용과 답변 품질을 최적화하기 위해 대형 데이터 세트의 관련없는 정보를 필터링하는 것이 포함될 수 있습니다. 특정 작업에 맞게 조정 된 더 작고 전문화 된 모델의 사용은 또한 중요한 역할을 할 것입니다.

.

위 내용은 검색 증거 세대가 장기 텍스트 언어 모델 시대에 여전히 관련이있는 이유의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!