자동 래그 : 오픈 소스 자동으로 RAG 파이프 라인 최적화

최근 몇 달 동안, RAG (Resprieved-Augmented Generation)는 대형 언어 모델을 외부 지식과 결합하는 강력한 기술로 인기가 급증했습니다. 그러나 올바른 걸레 파이프 라인 (인덱싱, 삽입 모델, 청킹 방법, 질문 응답 접근법)을 선택하는 것은 어려울 수 있습니다. 수많은 구성을 통해 데이터와 유스 케이스에 가장 적합한 파이프 라인이 어떤 파이프 라인인지를 어떻게 확신 할 수 있습니까? 그곳에서 오토 레이그가 들어오는 곳입니다 학습 목표

자동 레이그의 기본 사항과 래그 파이프 라인 최적화를 자동화하는 방법을 이해합니다. Autorag가 데이터에 대한 다른 RAG 구성을 체계적으로 평가하는 방법을 알아보십시오. 데이터 생성, 파이프 라인 실험 및 배포를 포함하여 Autorag의 주요 기능을 탐색하십시오. 자동 설정 및 사용의 단계별 연습으로 실습 경험을 얻으십시오. 이 기사는 데이터 과학 블로그 톤의

의 일부로 출판되었습니다. 목차

autorag 란 무엇입니까? Autorag가 헝겊 파이프 라인을 최적화하는 방법

최고의 헝겊 파이프 라인을 배포하는 방법

왜 Autorag를 사용 하는가? 시작하기 시작하는 이유 Step by Step the Step the The Step the Autorag 결론 자주 묻는 질문

autorag 란 무엇입니까? Autorag는 RAG에 중점을 둔 오픈 소스 자동화 된 기계 학습 (Automl) 도구입니다. 자체 데이터 세트의 다양한 RAG 파이프 라인 구성 요소를 체계적으로 테스트하고 평가하여 사용 사례에 가장 적합한 구성이 가장 적합한 구성을 결정합니다. 자동으로 실험을 실행하고 (데이터 생성, 청킹, QA 데이터 세트 생성 및 파이프 라인 배포와 같은 작업을 처리 함) Autorag는 시간과 번거 로움을 저장합니다. 왜 Autorag인가?

수많은 걸레 파이프 라인 및 모듈 : 래그 시스템을 구성하는 방법에는 여러 가지가 있습니다. 시간이 많이 걸리는 실험

: 자체 데이터의 모든 파이프 라인을 수동으로 테스트하는 것은 번거 롭습니다. 대부분의 사람들은 결코 그렇게하지 않습니다. 즉, 더 나은 성능이나 더 빠른 추론에서 빠질 수 있습니다. . 데이터 및 사용 사례에 맞게 조정 된 : 일반 벤치 마크는 파이프 라인이 고유 한 코퍼스에서 얼마나 잘 수행되는지를 반영하지 않을 수 있습니다. Autorag는 자신의 데이터에서 파생 된 실제 또는 합성 QA 쌍을 평가할 수 있도록 추측을 제거합니다.

키 기능 데이터 생성 : Autorag를 사용하면 자신의 RAW 문서, PDF 파일 또는 기타 텍스트 소스에서 RAG 평가 데이터를 생성 할 수 있습니다. 파일을 업로드하고 raw.parquet에 구문 분석하고 corpus.parquet에 넣고 QA 데이터 세트를 자동으로 생성하십시오. 최적화

: Autorag는 실험 실험 (하이퍼 파라미터 튜닝, 파이프 라인 선택 등)을 자동화하여 데이터에 가장 적합한 Rag 파이프 라인을 발견합니다. QA 데이터 세트에 대한 정확성, 관련성 및 사실적인 정확성과 같은 메트릭을 측정하여 가장 성능이 높은 설정을 정확히 찾아냅니다. 배포 : 최상의 파이프 라인을 식별 한 후 Autorag는 배포를 간단하게 만듭니다. 단일 YAML 구성은 플라스크 서버 또는 선택한 다른 환경에 최적의 파이프 라인을 배포 할 수 있습니다.

포그 페이스 공간에 Gradio와 함께 만들어졌습니다 Autorag의 사용자 친화적 인 인터페이스는 Gradio를 사용하여 구축되며 얼굴 공간을 안아주기 쉽습니다. 대화식 GUI는 이러한 실험을 실행하기 위해 깊은 기술 전문 지식이 필요하지 않다는 것을 의미합니다. 데이터를 업로드하고 매개 변수를 선택하고 결과를 생성하는 단계를 수행합니다. Autorag가 Rag 파이프 라인을 최적화하는 방법 QA 데이터 세트를 손에 넣으면 자동으로 Autorag가있을 수 있습니다 다중 리트리버 유형을 테스트하십시오

(예 : 벡터 기반, 키워드, 하이브리드) 다른 청크 크기를 탐색하고 전략을 중첩하십시오. 임베딩 모델 평가 (예 : OpenAi 임베딩, 포옹 얼굴 변압기) 가장 정확하거나 관련성이 높은 답변을 얻는 지 확인하려면 프롬프트 템플릿을 조정하십시오. 정확한 일치, F1 점수 또는 사용자 정의 도메인 별 메트릭과 같은 메트릭을 사용하여 QA 데이터 세트에 대한 성능을 측정하십시오. 실험이 완료되면 다음을 수행 할 수 있습니다

• 파이프 라인 구성의 순위 목록 성능 메트릭으로 정렬. 모듈 또는 매개 변수가 데이터에 대한 최상의 결과를 산출하는 통찰력을 명확하게합니다. 자동으로 생성 된 최상의 파이프 라인 autorag에서 직접 배포 할 수 있습니다.
최고의 헝겊 파이프 라인을 배포 라이브가 될 준비가되면 Autorag는 배포를 간소화합니다 단일 YAML 구성 : 파이프 라인 구성 요소를 설명하는 YAML 파일을 생성합니다 (Retriever, Embedder, Generator Model 등). 플라스크 서버에서 실행 : 기존 소프트웨어 스택과 쉽게 통합 할 수 있도록 로컬 또는 클라우드 기반 플라스크 앱에서 최고의 파이프 라인을 호스팅하십시오. Gradio/Hugging Face Spaces
• : 또는 파이프 라인의 대화식 데모 에 대한 Gradio 인터페이스를 사용하여 얼굴 공간을 포옹하는 얼굴 공간에 배치하십시오.
왜 오토 레이그를 사용합니까? 이제 Autorag를 시도 해야하는 이유를 확인하자 :

.

시간 저장 시간 오토 그로 인해 여러 걸레 구성을 평가하는 무거운 리프팅을 처리합니다.

성능 향상

고유 한 데이터 및 요구에 맞게 최적화 된 파이프 라인을 사용하여. 빠른 데모 또는 프로덕션 배포를위한 안아도 공간에 대한 Gradio와 함께 원활한 통합

오픈 소스 및 커뮤니티 중심이 있으므로 정확한 요구 사항에 맞게 사용자 정의하거나 확장 할 수 있습니다.
• Autorag는 이미 Github에서 유행하고 있습니다. 커뮤니티에 조정 하고이 도구가 어떻게 Rag 워크 플로우에 혁명을 일으킬 수 있는지 확인하십시오. 시작하기
github에서 Autorag를 확인하십시오 :
• 소스 코드, 문서 및 커뮤니티 예제를 탐색하십시오. 포그 페이스 스페이스에서 자동화 데모를 시도해보십시오. : 그라데이오 기반 데모는 파일을 업로드하고 QA 데이터를 만들고 다른 파이프 라인 구성으로 실험 할 수 있습니다.
기부 : 오픈 소스 프로젝트로서 Autorag는 PRS, 발행 보고서 및 특징 제안을 환영합니다. > Autorag는 데이터 생성, 파이프 라인 실험 및 배포를 자동화하여 Rag 시스템 구축에서 추측을 제거합니다. 데이터에 가장 적합한 헝겊 구성을 찾을 수있는 빠르고 안정적인 방법을 원한다면 Autorag를 스핀하고 결과가 스스로 말하게하십시오. Autorag의 단계별 연습 공유 한 스크린 샷을 통합하는 데이터 생성 워크 플로우. 이 안내서는 PDF를 구문 분석하고, 데이터를 청크하고, QA 데이터 세트를 생성하고, 추가 헝겊 실험을 준비하는 데 도움이됩니다. .1 단계 : OpenAI API 키를 입력하십시오

자동 레이그 인터페이스를 엽니 다 "Autorag Data Creation"섹션 (스크린 샷 #1)에는 OpenAI API 키를 요청하는 프롬프트가 표시됩니다. 텍스트 상자에 API 키를 붙여 넣고 ENTER를 누릅니다. 일단 입력되면 상태가 "설정되지 않음"에서 "유효"(또는 유사한)으로 변경되어 키가 인식되었음을 확인해야합니다.

참고 : Autorag는 API 키를 저장하거나 기록하지 않습니다. 오른쪽에서 선호하는 언어 (영어, 한국어, 日本語)를 선택할 수도 있습니다. 2 단계 : PDF 파일을 구문 분석합니다
"1. PDF 파일을 파시"(스크린 샷 #2)로 스크롤하십시오 "파일 업로드"를 클릭하여 컴퓨터에서 하나 이상의 PDF 문서를 선택하십시오. 예제 스크린 샷은 66EB856E019E라는 2.1MB PDF 파일을 보여줍니다. 드롭 다운에서 구문 분석 방법을 선택하십시오

일반 옵션에는 PDFMINER, PDFPLAMPER 및 PYMUPDF가 포함됩니다 각 파서에는 강점과 한계가 있으므로 구문 분석 문제가 발생하면 여러 메소드를 테스트하는 것이 좋습니다. “구문 분석 실행”(또는 동등한 조치 버튼)을 클릭하십시오. Autorag는 PDF를 읽고 단일 RAW.Parquet 파일로 변환합니다. 진행 업데이트를 위해 텍스트 상자를 모니터링합니다 구문 분석이 완료되면 "raw.parquet 다운로드"를 클릭하여 로컬 또는 작업 영역에 결과를 저장하십시오.

• tip :
raw.parquet 파일은 구문 분석 된 텍스트 데이터입니다. 필요한 경우 파크를 지원하는 도구를 검사 할 수 있습니다.
3 단계 : aw.parquet를 청크합니다
• “2로 이동합니다. raw.parquet”(스크린 샷 #3) 이전 단계를 사용한 경우 "이전 raw.parquet 사용"을 선택하여 파일을 자동으로로드 할 수 있습니다. 그렇지 않으면“업로드”를 클릭하여 .parquet 파일을 가져옵니다.
• 청킹 방법을 선택하십시오 :

토큰 : 지정된 수의 토큰에 의한 청크 문장

: 문장 경계별로 텍스트를 나눕니다 Semantic

: 삽입 기반 접근 방식을 시맨 적으로 유사한 텍스트에 사용할 수 있습니다.

재귀

: 더 과립 된 세그먼트를 위해 여러 레벨에서 청크 할 수 있습니다.

Now Set Chunk Size with the slider (e.g., 256 tokens) and Overlap (e.g., 32 tokens). 오버랩은 청크 경계를 가로 지르는 컨텍스트를 보존하는 데 도움이됩니다
“
• chunking ”를 클릭하십시오
확인 또는 상태 업데이트를 보려면
• textbox
를 시청하십시오 완료 후,“
• corpus.parquet ”를 다운로드하려면 새로 청크 된 데이터 세트를 얻으십시오.
왜 청킹?
청킹은 텍스트를 검색 방법을 효율적으로 처리 할 수있는 관리 가능한 작품으로 나눕니다. 래그 시스템이 토큰 제한을 초과하거나 주제 초점을 희석하지 않도록 컨텍스트를 관련성과 균형을 이룹니다.

4 단계 : corpus.parquet . Corpus.parquet에서 QA 데이터 세트를 만듭니다”섹션 (스크린 샷 #4), Corpus.parquet을 업로드하거나 선택하십시오. QA 메소드를 선택하십시오 :

default

: Q & A 쌍을 생성하는 기준 접근법 빠른 : 더 풍부한 세부 사항을 희생하여 속도를 우선시하고 비용을 줄입니다. advanced

: 더 철저하고 컨텍스트가 풍부한 Q & A 쌍을 생산할 수 있지만 더 비싸거나 느릴 수 있습니다.

데이터 생성을위한 모델을 선택하십시오 : 예제 옵션 옵션에는 GPT-4O-MINI 또는 GPT-4O가 포함됩니다 (인터페이스는 추가 모델을 나열 할 수 있음). 선택한 모델은 질문과 답변의 품질과 스타일을 결정합니다.

Qa 쌍의 수 :
• 슬라이더는 일반적으로 20에서 150으로갑니다. 첫 번째 달리기의 경우 비용을 제한하기 위해 작게 (예 : 20 또는 30) 유지하십시오. Openai 모델에 대한 배치 크기 :
• 기본값은 16으로, 즉 배치 요청 당 16 Q & A 쌍을 의미합니다. 속도 제한 오류가 표시되면 낮추십시오 “ 일단 완료되면 다운로드 자동으로 생성 된 Q & A 데이터 세트를 검색합니다. 비용 경고 : Q & A 데이터를 생성하면 OpenAI API를 호출하여 사용 수수료가 발생합니다. 큰 배치를 실행하려는 경우 OpenAI 청구 페이지에서 사용량을 모니터링하십시오.
• 5 단계 : QA 데이터 세트 사용
이제 당신은 가지고 있습니다 :
<..> corpus.parquet (청크 된 문서 데이터) qa.parquet (자동으로 생성 된 Q & A 쌍)

당신은 이것들을 Autorag의 평가 및 최적화 워크 플로에 공급할 수 있습니다 : . 여러 헝겊 구성을 평가 - Qa.parquet의 질문에 가장 잘 대답하는 조합을 확인하기 위해 다른 리트리버, 청크 크기 및 임베딩 모델을 평가하십시오. 최적의 파이프 라인을 식별하려면 성능 메트릭 (정확한 일치, F1 또는 도메인 별 기준)을 검토하십시오. 단일 YAML 구성 파일을 통해 최고의 파이프 라인을 배포합니다. AUTORAG는 플라스크 서버 또는 기타 엔드 포인트를 회전시킬 수 있습니다.

• 6 단계 : 데이터 제작 스튜디오 대기 목록에 가입하십시오 (선택 사항) 자동으로 생성 된 QA 데이터 세트를 사용자 정의하려면 질문을 편집하거나 특정 주제를 필터링하거나 도메인 별 지침을 추가하는 경우 Autorag는 데이터 작성 스튜디오를 제공합니다. “데이터 제작 스튜디오 대기 목록에 가입”을 클릭하여 인터페이스에서 직접 대기 목록에 가입하십시오.

  결론 Autorag는 RAG (Retrieval-Augmented Generation) 파이프 라인을 최적화하기위한 간소화되고 자동화 된 접근 방식을 제공하여 특정 데이터 세트에 맞춰진 다양한 구성을 테스트하여 귀중한 시간과 노력을 절약합니다. 데이터 생성, 청킹, QA 데이터 세트 생성 및 파이프 라인 배포를 단순화함으로써 Autorag는 사용 사례에 가장 효과적인 Rag 설정을 신속하게 식별 할 수 있도록합니다. 사용자 친화적 인 인터페이스와 OpenAI 모델과의 통합을 통해 Autorag는 초보자 및 숙련 된 사용자 모두 RAG 시스템 성능을 효율적으로 향상시키는 신뢰할 수있는 도구를 제공합니다. 키 테이크 아웃

  Autorag는 더 나은 성능을 위해 Rag 파이프 라인을 최적화하는 프로세스를 자동화합니다. 사용자는 데이터 요구에 맞는 사용자 정의 데이터 세트를 작성하고 평가할 수 있습니다. 단일 YAML 구성만으로 최고의 파이프 라인을 배포하는이 도구가 단순화됩니다. Autorag의 오픈 소스 자연은 커뮤니티 중심의 개선 및 사용자 정의를 촉진합니다

  자주 묻는 질문

  q1. 오토 레이그 란 무엇이며 왜 유용한가?

  a. Autorag는 구성 실험을 자동화하여 검색-예방 생성 (RAG) 파이프 라인을 최적화하기위한 오픈 소스 Automl 도구입니다. OpenAI API 키를 제공 해야하는 이유는 무엇입니까?

위 내용은 자동 래그 : 오픈 소스 자동으로 RAG 파이프 라인 최적화의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!