Finetuning LLM을위한 OpenAi 플랫폼 대 Google AI 스튜디오

LLMS (Mine Tuning) 대형 언어 모델 (LLM)은 특정 작문 스타일을 채택하거나 특정 도메인에 초점을 맞추는 등 특정 요구에 대해 LLM을 사용자 정의하는 데 필수적인 기술입니다. OpenAi 및 Google AI Studio는이 목적을위한 도구를 제공하는 두 가지 주요 플랫폼으로, 각각 고유 한 기능과 워크 플로가 있습니다. 이 기사에서는 이전에 작성된 기사를 교육 데이터로 사용하여 이러한 플랫폼이 미세 조정 작업에서 수행하는 방법을 살펴 봅니다. OpenAI 플랫폼과 Google AI 스튜디오의 능력을 평가하여 LLM을 미세 조정하여 글쓰기 스타일을 반영하는 컨텐츠를 생성 할 것입니다.

목차

• Openai 플랫폼
  • 데이터 준비
  • 코드 구현
  • OpenAI 플랫폼의 미세 조정
• Google AI 스튜디오
  • 데이터 업로드
  • AI 스튜디오에서 미세 조정
• 자주 묻는 질문

Openai 플랫폼

OpenAI 플랫폼은 미세 조정 모델을위한 포괄적 인 솔루션을 제공하여 사용자가 특정 작업에 맞게 사용자 정의하고 최적화 할 수 있습니다. 이 플랫폼은 GPT-4O 및 GPT-4O- 미니를 포함한 다양한 모델을 지원합니다. OpenAI는 또한 데이터 준비, 모델 교육 및 평가에 대한 지침을 제공합니다. OpenAI 플랫폼을 활용하여 사용자는 특정 도메인에서 모델의 성능을 향상시킬 수 있습니다. 이를 통해 대상 응용 프로그램에보다 효과적이고 효율적입니다.

미세 조정 비용은 다음과 같습니다.

모델	가격
GPT-4O-2024-08-06	$ 3.750 / 1m 입력 토큰 $ 15.000 / 1m 출력 토큰 훈련 토큰 $ 25.000 / 1m
GPT-4O-MINI-2024-07-18	$ 0.300 / 1m 입력 토큰 $ 1.200 / 1m 출력 토큰 훈련 토큰 $ 3.000 / 1m

미세 조정 된 모델의 추론 비용은 기존 모델의 두 배입니다.

데이터 준비

LLM은 미세 조정을 위해 특정 형식의 데이터가 필요합니다. GPT-4O 및 GPT-4O-MINI 모델의 예제 형식은 다음과 같습니다.

 { "메시지": [{ "역할": "System", "Content": "Marv는 냉소적 인 사실적인 챗봇입니다."}, { "역할": "사용자", "내용": "프랑스의 자본은 무엇입니까?"{ "역할": "Assistant", "Content": "Paris,"}}}}}}}

모델을 미세 조정하면 주어진 사용자 역할 컨텐츠에 대한 어시스턴트 역할 컨텐츠와 유사한 응답을 작성하는 법을 배웁니다.

우리는 모델이 우리와 유사한 컨텐츠를 생성하기를 원하기 때문에 조수 콘텐츠 대신 콘텐츠를 사용해야합니다.

내 기사 중 하나 에서이 내용을 고려해 봅시다.

“따라서 HNSW를 사용하여 그래프를 사용하여 모든 노드를 통과하는 대신이 알고리즘에서 동적 인 Vantage Point 트리를 사용하여 검색 공간을 로컬로 만들고 있습니다.

트리와 그래프를 모두 사용하는이 조합은 가장 빠르고 정확한 알고리즘 중 하나입니다.”

LLM이 위의 내용과 같은 컨텐츠를 생성하기를 원하기 때문에 다음과 같은 보조 콘텐츠로 추가해야합니다.

 { "역할": "Assistant", "Content": "HNSW를 사용하여 그래프를 사용하여 모든 노드를 가로지 않고이 알고리즘에서 동적 인 Vantage Point 트리를 사용하여 검색 공간을 로컬로 만들고 있습니다.

 트리와 그래프를 모두 사용하는이 조합은 가장 빠르고 정확한 알고리즘 중 하나입니다. "}

LLM이 이와 같은 컨텐츠를 생성하려면 사용자 컨텐츠가 필요합니다 (예 : 프롬프트). 우리는 그것을 가지고 있지 않으므로 LLM을 사용하여 사용자 컨텐츠를 생성 할 수 있습니다. 사용자 콘텐츠는 다음과 같습니다.

 { "역할": "사용자", "컨텐츠": "동적 인 Vantage Point 트리와 계층 적 탐색 가능한 작은 세계 (HNSW) 그래프의 조합이 알고리즘의 검색 효율과 정확도를 향상시키는 방법을 설명 할 수 있습니까?"}}

우리는 또한 미세 조정의 예제가 다음과 같이 적절한 시스템 프롬프트를 포함합니다.

 { "메시지": [{ "역할": "시스템", "콘텐츠": "당신은 명확하고 유익하며 매력적인 스타일로 글을 쓰는 조수입니다."}, { "역할": "사용자", "컨텐츠": "동적 유리한 포인트 트리와 계층 적 탐색 가능한 작은 세계 (HNSW)의 조합이 어떻게 검색 효능을 향상시키는지를 설명 할 수 있습니까?" "Assistant", "Content": "따라서 HNSW를 사용하여 그래프를 사용하여 모든 노드를 통과하는 대신이 알고리즘에서 동적 인 Vantage Point 트리를 사용하여 검색 공간을 로컬로 만들고 있습니다. \ n 트리와 그래프를 모두 사용하는이 조합은 가장 빠르고 가장 정확한 알고리즘 중 하나입니다."}}}}}}}}}}.

작은 크기의 컨텐츠를 사용하면 모델이 컨텍스트를 놓칠 수 있습니다. 데이터 준비 중에이 점을 명심해야합니다. 여기에는 38 개의 예제 만 사용하고 있지만 100 ~ 500이 훨씬 나을 것입니다. 나는 각 행에 열에 작성된 컨텐츠가있는 'content.csv'파일을 만들었습니다.

이제 코드를 통해 필요한 데이터를 올바른 형식으로 작성하겠습니다.

코드 구현

OpenAI 버전 1.57.0은 여기에서 사용됩니다.

1. 라이브러리를 가져옵니다.

 dotenv import load_dotenv에서
load_dotenv ( '/. env')
팬더를 PD로 가져옵니다
Tiktoken 수입
OpenAi import OpenAi에서

# OpenAI 클라이언트를 초기화합니다
클라이언트 = OpenAi ()

2. 토큰 크기를 확인하십시오.

 df = pd.read_csv ( 'my content.csv')
인코딩 = tiktoken.get_encoding ( 'O200K_Base')

Total_Token_Count = 0
df [ 'content']에서 i를 위해 : :
    token_count = len (encoding.encode (i))
    Total_Token_Count = Token_Count

토큰을 계산하면 미세 조정 비용을 추정하는 데 도움이됩니다.

3. LLM의 사용자 콘텐츠를 생성하십시오 .

 def generate_user_content (Assistant_Response) :
    
    # System_Message = { "역할": "System", "Content": "귀하는 도움이되는 조수입니다. 귀하의 작업은 어시스턴트의 응답에 따라 사용자 쿼리를 생성하는 것입니다."}.
    
    System_Message = { "역할": "System", "Content": "" "어시스턴트의 응답이 주어 지거나 사용자 쿼리 작성 또는 
    논리적으로 해당 응답으로 이어질 진술. 
    사용자 콘텐츠는 질문의 형태 일 수 있습니다. 
    제공된 답변 "" "} 조수
    
    
    Assistant_Message = { "역할": "Assistant", "Content": Assistant_Response}
    메시지 = [System_Message, Assistant_Message]

    응답 = client.chat.completions.create (
        메시지 = 메시지,
        model = "gpt-4o-mini",
        온도 = 1
    ))

    user_content = response.choices [0] .message.content
    user_content를 반환합니다

볼 수 있듯이 보조 콘텐츠로 작성된 콘텐츠를 제공하고 LLM에 사용자 콘텐츠를 생성하도록 요청했습니다.

 user_contents = []

df [ 'content']에서 i를 위해 : :
    user_content = generate_user_content (i)
    user_contents.append (user_content)
    
df [ 'user_content'] = user_contents

생성 된 사용자 컨텐츠를 데이터 프레임에 열로 추가 할 수 있습니다. 데이터는 다음과 같습니다.

여기에서는 컨텐츠가 ME에 의해 작성되며 User_Content는 LLM에 의해 생성되어 미세 조정하는 동안 사용자 역할 컨텐츠 (프롬프트)로 생성됩니다.

지금 파일을 저장할 수 있습니다.

 df.to_csv ( 'user_content.csv', index = false)

4. JSONL 파일을 만듭니다.

이제 위의 CSV 파일을 사용하여 미세 조정에 필요한 경우 JSONL 파일을 만들 수 있습니다.

 messages = pd.read_csv ( 'user_content.csv')
messages.rename (columns = { 'content': 'assistant_content'}, inplace = true)

jsonl_file로 닫는 ( 'messages_dataset.jsonl', 'w', encoding = 'utf-8')를 사용하여 :
    
    _, messages.iterrows ()의 행 :
        
        user_content = row [ 'user_content']
        Assistant_Content = Row [ 'Assistant_Content']

        jsonl_entry = {
            "메시지": [
                { "역할": "System", "Content": "당신은 명확하고 유익하며 매력적인 스타일로 글을 쓰는 조수입니다."},},
                { "역할": "사용자", "컨텐츠": user_content},
                { "역할": "Assistant", "Content": Assistant_Content}]
        }

        jsonl_file.write (json.dumps (jsonl_entry) '\ n')

위에서 볼 수 있듯이 데이터 프레임을 통해 반복하여 JSONL 파일을 만들 수 있습니다.

OpenAI 플랫폼의 미세 조정

이제 'messages_dataset.jsonl'을 사용하여 OpenAi llms를 미세 조정할 수 있습니다.

웹 사이트로 이동하여 이미 로그인하지 않은 경우 로그인하십시오.

미세 조정 작업이없는 경우 인터페이스는 다음과 같습니다.

우리는 '더 많이 배우기'를 클릭하여 조정 가능한 하이퍼 파라미터를 포함하여 미세 조정에 필요한 모든 세부 사항을 알아볼 수 있습니다.

이제 OpenAI 플랫폼에서 모델을 미세 조정하는 방법을 배우겠습니다.

1. 'Create'를 클릭하십시오. 작은 창이 열립니다.

2. '감독'으로 메소드를 선택하십시오.
3. 기본 모델을 'gpt-4o'또는 'gpt-4o-mini'로 선택하십시오. GPT-4O- 미니를 사용하는 동안 오류가 발생하여 GPT-4O를 사용했습니다.
4. JSONL 파일을 업로드하십시오.
5. 미세 조정 작업과 관련된 '접미사'를 추가하십시오
6. 재현성을 위해 숫자를 '시드'로 사용하십시오.
7. 하이퍼 파라미터를 선택하고 기본값을 사용하도록 두십시오. 선택에 대한 지침은 위에서 언급 한 문서를 참조하십시오.

이제 'Create'를 클릭하여 미세 조정을 시작할 수 있습니다.

미세 튜닝이 완료되면 다음과 같이 표시됩니다.

오른쪽 바닥 코너의 버튼을 클릭하여 미세 조정 된 모델을 놀이터의 기존 모델 응답과 비교할 수 있습니다.

다음은 두 모델을 비교하는 응답의 예입니다.

우리가 볼 수 있듯이 두 모델의 응답 사이에는 상당한 차이가 있습니다.

더 많은 예제를 사용하면 결과가 향상 될 수 있습니다.

이제 Google AI Studio에 대해 알아 보겠습니다.

Google AI 스튜디오

Google AI Studio는 Gemini LLM을 사용하여 응용 프로그램을 구축하기위한 웹 기반 도구입니다. 또한 사용자가 자체 데이터를 사용하여 LLM을 미세 조정할 수 있습니다. 이 사용자 정의는 특정 작업 또는 산업에 대한 모델의 성능을 향상시켜보다 관련성 있고 효과적입니다. Gemini 모델의 미세 조정 기능은 새로 출시되었으며 현재 Gemini 1.5 플래시에서만 사용할 수 있습니다. 튜닝은 2025 년 1 월 현재 무료이며 추론 비용은 기존 모델과 동일합니다.

자세히 알아보십시오 : Google의 AI 스튜디오 : Gemini의 Creative Universe로가는 게이트웨이!

데이터 업로드

Gemini 모델의 경우 데이터 형식은 다음과 같습니다.

 Training_Data = [<br><br> { "text_input": "1", "출력": "2"},<br><br> { "text_input": "3", "출력": "4"},]

Google AI Studio는 CSV 파일에서 데이터를 업로드 할 수있는 GUI (그래픽 사용자 인터페이스)를 제공합니다. 이것을하기 위해 :

1. https://aistudio.google.com/prompts/new_data를 엽니 다
2. '액션'을 클릭 한 다음 '예제 가져 오기'를 클릭하십시오.
3. 그런 다음 CSV 파일을 업로드하십시오. 화면은 다음과 같습니다.

4. user_content를 입력 열로 할당하고 컨텐츠를 출력 열로 할당하십시오.
5. 그런 다음 예제를 가져옵니다. 불필요한 열을 삭제 한 다음 오른쪽 상단 코너의 '저장'버튼을 사용하여 데이터를 저장할 수 있습니다.

AI 스튜디오에서 미세 조정

모델을 미세 조정하려면 https://aistudio.google.com/tune으로 이동하십시오.

화면은 다음과 같습니다.

이제 아래 단계를 따르십시오.

1. 드롭 다운 메뉴에서 가져온 데이터를 선택하십시오.
2. 조정 된 모델의 이름을 알려주십시오.
3. 고급 설정에 대한 자세한 내용은 https://ai.google.dev/gemini-api/docs/model-tuning을 참조하십시오.
4. 완료되면 '조정'을 클릭하십시오.

다음과 같이 '라이브러리'에서 조정 된 모델을 찾을 수 있습니다.

위의 이미지와 같이 채팅에서 모델을 사용할 수도 있습니다.

결론

OpenAI 플랫폼과 Google AI Studio를 사용하여 대형 언어 모델을 미세 조정하면 사용자가 모델을 특정 요구에 맞게 조정할 수 있습니다. LLM이 독특한 작문 스타일을 채택하거나 도메인 별 성능을 향상시키는 것일 수 있습니다. 두 플랫폼 모두 데이터 준비 및 교육을위한 직관적 인 워크 플로우를 제공하여 모델 동작을 최적화하기위한 구조적 형식을 지원합니다. 액세스 가능한 도구와 명확한 문서를 통해 사용자는 원하는 작업 및 목표와 밀접하게 조정하여 LLM의 잠재력을 최대한 활용할 수 있습니다.

자주 묻는 질문

Q1. 대형 언어 모델 (LLM)의 맥락에서 미세 조정이란 무엇입니까?

A. 미세 조정은 특정 작업, 스타일 또는 도메인에 동작을 조정하기 위해 사용자 정의 데이터에 미리 훈련 된 언어 모델을 교육하는 과정입니다. 여기에는 입력 출력 쌍의 예를 제공하여 사용자 요구 사항과 정렬하여 모델의 응답을 안내합니다.

Q2. OpenAI 플랫폼 및 Google AI 스튜디오에서 미세 조정에 필요한 데이터 형식은 무엇입니까?

A. OpenAI 플랫폼은 일반적으로 "시스템", "사용자"및 "어시스턴트"와 같은 역할을 가진 구조화 된 JSONL 형식의 데이터가 필요합니다. Google AI Studio는 입력 및 원하는 출력이 명확하게 정의되는`text_input` 및`output '필드가있는 더 간단한 형식을 사용합니다.

Q3. 효과적인 미세 조정에 필요한 데이터는 얼마입니까?

A. 30-50 개의 예제가있는 소규모 데이터 세트는 일부 결과를 보여줄 수 있지만 100-500 개의 예제가있는 더 큰 데이터 세트는 일반적으로 모델에 다양하고 컨텍스트가 풍부한 시나리오를 제공함으로써 더 나은 성능을 제공합니다.

Q4. 미세 조정 비용은 OpenAI 플랫폼과 Google AI 스튜디오를 어떻게 비교합니까?

A. 개방형 교육 중 토큰 사용에 기반한 미세 조정 비용, 대규모 모델의 비용이 더 높습니다. Google AI Studio는 현재 Gemini 1.5 플래시 모델을위한 무료 미세 조정을 제공하므로 비용 효율적인 실험 선택입니다.

Q5. LLM을 미세 조정하는 데있어 주요 이점은 무엇입니까?

A. 미세 조정을 통해 사용자는 모델을 사용자 정의하여 특정 톤 또는 스타일로 컨텐츠를 생성하고 도메인 별 작업의 정확도를 향상 시키며 모델을 의도 된 사용 사례와보다 관련성있게 만들어 전반적인 사용자 경험을 향상시키는 것과 같은 특정 요구 사항에 맞게 모델을 사용자 정의 할 수 있습니다.

위 내용은 Finetuning LLM을위한 OpenAi 플랫폼 대 Google AI 스튜디오의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!