래그 및 미세 조정으로 LLM을 더 정확하게 만드는 방법

한 학기 동안 대학에서 모듈을 공부한다고 상상해보십시오. 결국, 집중적 인 학습 단계 후에 시험을 치르고 시험을 치르고 찾지 않고 가장 중요한 개념을 기억할 수 있습니다.

이제 두 번째 상황을 상상해보십시오. 새로운 주제에 대한 질문을받습니다. 답을 곧바로 알지 못하므로 책을 들거나 위키를 탐색하여 답변에 대한 올바른 정보를 찾으십시오.

이 두 가지 유추는 LLM의 기본 모델을 개선하거나 특정 작업 및 영역에 적응하는 가장 중요한 두 가지 방법을 나타냅니다 : 검색 증강 생성 (RAG) 및 미세 조정.

그러나 어떤 예가 어떤 방법에 속합니까?

이것이 바로이 기사에서 설명 할 것입니다. 그 후, 헝겊과 미세 조정이 무엇인지, 가장 중요한 차이점과 어떤 방법이 적용되는지 알게 될 것입니다.

다이빙하자!

내용 테이블 s

• 1. 기본 사항 : 헝겊이란? 미세 조정이란 무엇입니까?
• 2. 헝겊과 미세 조정의 차이
• 3. 헝겊 모델을 구축하는 방법
• 4. 모델을 미세 조정하기위한 옵션
• 5. 래그는 언제 권장됩니까? 미세 조정 권장 사항은 언제입니까?
• 최종 생각
• 어디에서도 계속 배울 수 있습니까?

1. 기본 사항 : 헝겊이란? 미세 조정이란 무엇입니까?

Openai의 Chatgpt, Google의 Gemini, Anthropics의 Claude 또는 Deepseek과 같은 대형 언어 모델 (LLM)은 엄청나게 강력하며 매우 짧은 시간에 걸쳐 일상적인 일을 시작했습니다.

그들의 가장 큰 한계 중 하나는 그들의 지식이 훈련으로 제한된다는 것입니다. 2024 년에 교육을받은 모델은 2025 년부터 이벤트를 알지 못합니다. 현재 미국 대통령이 누구인지 Chatgpt의 4O 모델을 요청하고 인터넷을 사용해서는 안된다는 명확한 지침을 제공하면 확실 하게이 질문에 대답 할 수 없다는 것을 알 수 있습니다.

또한이 모델은 내부 지침 또는 현재 기술 문서와 같은 회사 별 정보에 쉽게 액세스 할 수 없습니다.

바로 이것이 헝겊과 미세 조정이 시작되는 곳입니다.

두 방법 모두 LLM을 특정 요구 사항에 적응할 수 있습니다.

RAG - 모델은 동일하게 유지되며 입력이 개선됩니다.

검색 증강 생성 (RAG)이있는 LLM은 변하지 않습니다.

그러나 외부 지식 소스에 액세스 할 수 있으므로 모델 매개 변수에 저장되지 않은 정보를 검색 할 수 있습니다. Rag는 외부 데이터 소스를 사용하여 최신 또는 특정 정보를 제공하여 추론 단계에서 모델을 확장합니다. 추론 단계는 모델이 답을 생성하는 순간입니다.

이를 통해 모델은 재교육없이 최신 상태를 유지할 수 있습니다.

어떻게 작동합니까?

1. 사용자 질문이 묻습니다.
2. 쿼리는 벡터 표현으로 변환됩니다.
3. 리트리버는 외부 데이터 소스에서 관련 텍스트 섹션 또는 데이터 레코드를 검색합니다. 문서 또는 FAQ는 종종 벡터 데이터베이스에 저장됩니다.
4. 발견 된 내용은 추가 컨텍스트로 모델로 전송됩니다.
5. LLM은 검색된 현재 정보와 현재 정보를 기반으로 해답을 생성합니다.

핵심 요점은 LLM 자체가 변경되지 않고 LLM의 내부 무게는 동일하게 유지된다는 것입니다.

회사가 내부 AI 기반 지원 챗봇을 사용한다고 가정 해 봅시다.

챗봇은 직원들이 회사 정책, IT 처리 또는 HR 주제에 대한 질문에 답변하는 데 도움이됩니다. CHATGPT에 회사에 대한 질문을한다면 (예 : 휴가 일은 몇 일 남았습니까?), 모델은 논리적으로 의미있는 답을 돌려주지 않을 것입니다. Rag가없는 고전적인 LLM은 회사에 대해 전혀 모릅니다.이 데이터로 훈련을받은 적이 없습니다.

chatbot은 가장 관련성이 높은 문서 (예 : PDF 파일, 위키 페이지 또는 내부 FAQ)에 대한 현재 회사 정책의 외부 데이터베이스를 검색하고 특정 답변을 제공 할 수 있습니다.

Rag는 인간이 라이브러리 또는 Google 검색에서 특정 정보를 찾을 때와 비슷하게 작동하지만 실시간으로 작동합니다.

CRUD의 의미에 대해 질문을받은 학생은 Wikipedia 기사를 신속하게 찾아서 RAG 모델이 관련 문서를 검색하는 것처럼 작성, 읽기, 업데이트 및 삭제 답변입니다. 이 과정을 통해 인간과 AI는 모든 것을 암기하지 않고 정보에 입각 한 답변을 제공 할 수 있습니다.

그리고 이것은 Rag를 반응을 정확하고 최신 상태로 유지하기위한 강력한 도구입니다.

미세 조정-모델은 교육을 받고 지식을 영구적으로 저장합니다.

외부 정보를 찾는 대신 LLM을 미세 조정을 통해 새로운 지식으로 직접 업데이트 할 수도 있습니다.

미세 조정은 교육 단계에서 모델에 추가 도메인 별 지식을 제공하기 위해 사용됩니다. 기존 기본 모델은 특정 새로운 데이터로 더 훈련됩니다. 결과적으로, 특정 콘텐츠를 "학습"하고 기술 용어, 스타일 또는 특정 콘텐츠를 내면화하지만 언어에 대한 일반적인 이해를 유지합니다.

이로 인해 LLM을 특정 요구, 데이터 또는 작업에 맞게 사용자 정의하는 효과적인 도구가 미세 조정됩니다.

이것은 어떻게 작동합니까?

1. LLM은 전문 데이터 세트로 교육을 받았습니다. 이 데이터 세트에는 도메인 또는 작업에 대한 특정 지식이 포함되어 있습니다.
2. 모델 무게는 새로운 지식을 매개 변수에 직접 저장하도록 조정됩니다.
3. 훈련 후 모델은 외부 소스가 필요없이 답변을 생성 할 수 있습니다.

이제 법적 질문에 대한 전문가 답변을 제공하는 LLM을 사용하고 싶다고 가정 해 봅시다.

이를 위해이 LLM은 법적 텍스트로 훈련되어 미세 조정 후 정확한 답변을 제공 할 수 있습니다. 예를 들어,“의도적 인 불법 행위”와 같은 복잡한 용어를 배우고 관련 국가의 맥락에서 적절한 법적 근거를 지정할 수 있습니다. 일반적인 정의를 제공하는 대신 관련 법률과 선례를 인용 할 수 있습니다.

즉, 더 이상 GPT-4O와 같은 일반적인 LLM이 처분 할 수 없지만 법적 의사 결정을위한 유용한 도구를 의미합니다.

우리가 인간과의 비유를 다시 살펴보면 미세 조정은 집중적 인 학습 단계 후에 내재화 된 지식을 갖는 것과 비슷합니다.

이 학습 단계 후, 컴퓨터 과학 학생은 CRUD라는 용어가 생성, 읽기, 업데이트, 삭제를 의미한다는 것을 알고 있습니다. 그 또는 그녀는 개념을 찾지 않고도 설명 할 수 있습니다. 일반적인 어휘가 확장되었습니다.

이 내재화는 미세 조정 된 LLM처럼 더 빠르고 자신감있는 반응을 허용합니다.

2. 헝겊과 미세 조정의 차이

두 방법 모두 특정 작업에 대한 LLM의 성능을 향상시킵니다.

두 방법 모두 잘 준비된 데이터가 효과적으로 작동해야합니다.

그리고 두 방법 모두 환각을 줄이는 데 도움이됩니다 - 허위 또는 제작 된 정보의 생성.

그러나 아래 표를 보면이 두 가지 방법의 차이점을 볼 수 있습니다.

RAG는 ​​모델이 재교육을받지 않고 항상 최신 데이터에 액세스 할 수 있기 때문에 특히 유연합니다. 미리 계산 노력이 덜 필요하지만 질문에 대답하면서 더 많은 리소스가 필요합니다 (추론). 대기 시간도 높을 수 있습니다.

반면에 미세 조정은 지식이 모델 가중치에 직접 저장되고 외부 검색이 필요하지 않기 때문에 더 빠른 추론 시간을 제공합니다. 주요 단점은 훈련이 시간이 많이 걸리고 비싸며 많은 양의 고품질 교육 데이터가 필요하다는 것입니다.

Rag는 모델 자체를 변경하지 않고 필요할 때 지식을 찾는 도구를 모델에 제공하는 반면, 미세 조정은 조정 된 매개 변수 및 가중치로 모델의 추가 지식을 저장합니다.

3. 헝겊 모델을 구축하는 방법

RAG (Respreval Augmented Generation) 파이프 라인을 구축하기위한 인기있는 프레임 워크는 Langchain입니다. 이 프레임 워크는 LLM 호출의 검색 시스템과의 연결을 용이하게하고 외부 소스에서 정보를 대상으로 검색 할 수있게합니다.

래그는 기술적으로 어떻게 작동합니까?

1. 쿼리 임베딩

첫 번째 단계에서는 사용자 요청이 포함 모델을 사용하여 벡터로 변환됩니다. 예를 들어 OpenAI의 텍스트-엠 베딩-아다 -002 또는 포옹 얼굴의 All-Minilm-L6-V2에서 수행됩니다.

벡터 데이터베이스는 기존 텍스트를 통해 검색하지 않고 대신 수치 표현 (임베딩) 사이의 의미 론적 유사성을 계산하기 때문에 필요합니다. 사용자 쿼리를 벡터로 변환함으로써 시스템은 정확히 일치하는 용어를 검색 할뿐만 아니라 컨텐츠에서 유사한 개념을 인식 할 수 있습니다.

2. 벡터 데이터베이스에서 검색

결과 쿼리 벡터는 벡터 데이터베이스와 비교됩니다. 목표는 질문에 답할 수있는 가장 관련성이 높은 정보를 찾는 것입니다.

이 유사성 검색은 대략적인 가장 가까운 이웃 (ANN) 알고리즘을 사용하여 수행됩니다. 이 작업을위한 잘 알려진 오픈 소스 도구는 예를 들어, 대규모 데이터 세트에서 고성능 유사성 검색을위한 메타의 FAISS 또는 중소형 검색 작업을위한 ChromADB입니다.

3. LLM 컨텍스트에 삽입

세 번째 단계에서 검색된 문서 또는 텍스트 섹션은 프롬프트에 통합되어 LLM 이이 정보에 따라 응답을 생성합니다.

4. 응답 생성

LLM은 이제 수신 된 정보를 일반적인 언어 어휘와 결합하고 상황 별 응답을 생성합니다.

Langchain의 대안은 특별히 개발 된 Rag 클래스를 제공하는 Hugging Face Transformer 라이브러리입니다.

• 'ragtokenizer'는 입력과 검색 결과를 발표합니다. 클래스는 사용자가 입력 한 텍스트와 검색된 문서를 처리합니다.
• 'Ragretriever'클래스는 사전 정의 된 지식 기반에서 관련 문서의 의미 론적 검색 및 검색을 수행합니다.
• 'rag equenceforgeneration'클래스는 제공된 문서를 가져 와서 문맥에 통합하여 답변 생성을 위해 실제 언어 모델로 전송합니다.

4. 모델을 미세 조정하기위한 옵션

Rag가있는 LLM은 쿼리에 외부 정보를 사용하지만 미세 조정으로 모델 가중치를 변경하여 모델이 새로운 지식을 영구적으로 저장할 수 있습니다.

미세 조정은 기술적으로 어떻게 작동합니까?

1. 교육 데이터 준비

미세 조정에는 고품질 데이터 수집이 필요합니다. 이 컬렉션은 입력 및 원하는 모델 응답으로 구성됩니다. 예를 들어 챗봇의 경우 질문 응답 쌍이 될 수 있습니다. 의료 모델의 경우 이것은 임상 보고서 또는 진단 데이터 일 수 있습니다. 합법적 인 AI의 경우 법적 텍스트와 판단이 될 수 있습니다.

예를 살펴 보겠습니다. OpenAI의 문서를 살펴보면 이러한 모델이 미세 조정 중에 역할 (시스템, 사용자, 조수)이있는 표준화 된 채팅 형식을 사용한다는 것을 알 수 있습니다. 이러한 질문 응답 쌍의 데이터 형식은 JSONL이며 예를 들어 다음과 같습니다.

 { "메시지": [{ "역할": "시스템", "내용": ""du bist ein medizinischer assistent " Gelenkschmerzen. "}]}

다른 모델은 CSV, JSON 또는 Pytorch 데이터 세트와 같은 다른 데이터 형식을 사용합니다.

2. 기본 모델 선택

미리 훈련 된 LLM을 출발점으로 사용할 수 있습니다. 이들은 OpenAI API를 통한 GPT-3.5 또는 GPT-4와 같은 폐쇄 소스 모델 또는 DeepSeek, LLAMA, MISTRAL 또는 FALCON 또는 T5 또는 NLP 작업에 대한 FLAN-T5와 같은 오픈 소스 모델 일 수 있습니다.

3. 모델의 훈련

미세 조정에는 모델이 새로운 데이터로 훈련되어 가중치를 업데이트하기 때문에 많은 컴퓨팅 성능이 필요합니다. 특히 GPT-4 또는 LLAMA 65B와 같은 대형 모델에는 강력한 GPU 또는 TPU가 필요합니다.

계산 노력을 줄이기 위해 LORA (저급 적응)와 같은 최적화 된 방법이 있으며, 여기서 소수의 추가 매개 변수 만 훈련을 받거나 양자화 된 모델 가중치 (예 : 4 비트)가 사용되는 Qlora (Quantized LORA)가 있습니다.

4. 모델 배포 및 사용

모델이 교육을 받으면 로컬 또는 포옹 얼굴 모델 허브, AWS 또는 Azure와 같은 클라우드 플랫폼에 배치 할 수 있습니다.

5. 래그는 언제 권장됩니까? 미세 조정 권장 사항은 언제입니까?

헝겊과 미세 조정은 다른 장점과 단점이 있으므로 다른 사용 사례에 적합합니다.

래그는 콘텐츠가 동적 또는 자주 업데이트 될 때 특히 적합합니다.

예를 들어, 지속적으로 확장되는 지식 데이터베이스에서 정보를 검색 해야하는 FAQ 챗봇에서. 정기적으로 업데이트되는 기술 문서는 모델을 지속적으로 재교육 할 필요없이 RAG를 사용하여 효율적으로 통합 할 수 있습니다.

또 다른 요점은 자원입니다. 제한된 컴퓨팅 전력 또는 예산이 적은 예산을 사용할 수있는 경우 복잡한 교육 프로세스가 필요하지 않으므로 RAG가 더 의미가 있습니다.

반면에 미세 조정은 모델을 특정 회사 나 산업에 맞게 조정해야 할 때 적합합니다.

대상 교육을 통해 응답 품질과 스타일을 향상시킬 수 있습니다. 예를 들어, LLM은 정확한 용어로 의료 보고서를 생성 할 수 있습니다.

기본 규칙은 다음과 같습니다. RAG는 지식이 모델에 완전히 통합되지 않기에는 지식이 너무 광범위하거나 역동적 일 때 사용되는 반면, 미세 조정은 일관되고 작업 별 동작이 필요할 때 더 나은 선택입니다.

그리고 뗏목이 있습니다 - 조합의 마법

우리가 둘을 결합하면 어떻게됩니까?

이것이 바로 검색 확대 된 미세 조정 (RAFT)에서 일어나는 일입니다.

이 모델은 먼저 미세 조정을 통해 도메인 별 지식으로 풍부하여 올바른 용어와 구조를 이해합니다. 그런 다음 모델은 RAG로 확장되어 외부 데이터 소스에서 구체적이고 최신 정보를 통합 할 수 있습니다. 이 조합은 깊은 전문 지식과 실시간 적응성을 보장합니다.

회사는 두 방법의 장점을 모두 사용합니다.

최종 생각

두 가지 방법 (RAG 및 미세 조정)은 기본 LLM의 기능을 다양한 방식으로 발전시킵니다.

미세 조정은 특정 도메인의 모델을 전문으로하고 Rag는 외부 지식을 갖추고 있습니다. 두 가지 방법은 상호 배타적이지 않으며 하이브리드 접근법에서 결합 할 수 있습니다. 계산 비용을 살펴보면 미세 조정은 리소스 집약적 인 선불이지만 운영 중에 효율적이지만 RAG는 초기 자원이 적지 만 사용 중에 더 많은 소비를 소비합니다.

래그는 지식이 너무 광대하거나 역동적이거나 모델에 직접 통합 될 때 이상적입니다. 미세 조정은 특정 작업에 대한 안정성과 일관된 최적화가 필요할 때 더 나은 선택입니다. 두 가지 접근 방식은 뚜렷하지만 보완적인 목적으로 사용되므로 AI 응용 프로그램에서 귀중한 도구를 제공합니다.

내 Substack에서는 기술, 파이썬, 데이터 과학, 기계 학습 및 AI 분야에 게시 된 기사에 대한 요약을 정기적으로 작성합니다. 관심이 있으시면 살펴 보거나 구독하십시오.

어디에서도 계속 배울 수 있습니까?

• OpenAi 문서-미세 조정
• 포옹 얼굴 블로그 Qlora
• Microsoft Learn-헝겊이나 미세 조정으로 LLM을 증대시킵니다
• IBM Technology YouTube - Rag vs. Fine Tuning
• DataCamp 블로그 - RAFT 란 무엇입니까?
• DataCamp 블로그-Rag vs. Fine Tuning

위 내용은 래그 및 미세 조정으로 LLM을 더 정확하게 만드는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!