OpenAI平台與Google AI Studio for Finetuning LLM

微調大語言模型（LLMS）是針對特定需求定制LLM的必不可少的技術，例如採用特定的寫作風格或專注於特定領域。 OpenAI和Google AI Studio是兩個主要平台，提供了用於此目的的工具，每個平台都有不同的功能和工作流程。在本文中，我們將使用我以前的書面文章作為培訓數據來研究這些平台如何在微調任務中執行。我們將評估OpenAI平台和Google AI Studio微調LLM的能力，以生成與我的寫作風格相似的內容。

目錄

• Openai平台
  • 數據準備
  • 代碼實現
  • 在Openai平台中進行微調
• Google AI Studio
  • 數據上傳
  • 在AI工作室進行微調
• 常見問題

Openai平台

OpenAI平台為微觀模型提供了全面的解決方案，使用戶可以自定義和優化特定任務。該平台支持各種型號，包括GPT-4O和GPT-4O-Mini。 OpenAI還為數據準備，模型培訓和評估提供了指導。通過利用OpenAI平台，用戶可以在特定域中提高模型的性能。這使得它們更有效，有效地針對目標應用程序。

微調的成本如下：

模型	定價
GPT-4O-2024-08-06	$ 3.750 / 100萬的輸入令牌 $ 15.000 / 1M輸出令牌 $ 25.000 / 100萬培訓令牌
GPT-4O-MINI-2024-07-18	$ 0.300 / 100萬的輸入令牌 $ 1.200 / 1m的輸出令牌 $ 3.000 / 100萬培訓令牌

微調模型的推斷成本是現有模型的兩倍。

數據準備

LLM需要以特定格式進行微調數據。這是GPT-4O和GPT-4O-MINI模型的示例格式。

 {“ messages”：[{“角色”：“系統”，“ content”：“ Marv是一個事實的聊天機器人，也是諷刺的。“}，{“角色”：“用戶”，“ content”：“法國之都是什麼？

當我們微調模型時，它將學會產生類似於給定用戶角色內容的助理角色內容的響應。

由於我們希望該模型生成類似於我們的內容，因此我們應該使用我們的內容代替助理內容。

讓我們從我的一篇文章中考慮這些內容：

“因此，我們沒有使用HNSW使用圖形來遍歷所有節點，而是使用該算法中的動態Vantage Point樹對搜索空間進行定位。

使用樹和圖的這種組合使其成為最快，最準確的算法之一。 ”

由於我們希望LLM像上面的內容一樣生成內容，因此應將其添加為助手內容：

 {“角色”：“助手”，“ content”：“因此，我們沒有使用HNSW使用圖形，而是使用該算法中的動態Vantage Point樹對搜索空間進行定位。

使用樹和圖的這種組合使其成為最快，最準確的算法之一。 ”}}

為了使LLM生成這樣的內容，它需要用戶內容（即提示）。由於沒有它，我們可以使用LLM生成用戶內容。用戶內容可以如下：

 {“角色”：“用戶”，“ content”：“您能解釋動態有利的點樹和層次可導航的小世界（HNSW）的組合如何提高算法中的搜索效率和準確性？”}

我們還包括一個合適的系統提示，我們的微調示例如下

{“消息”：[{“角色”：“系統”，“ content”：“您是一位助手，以清晰，信息豐富且引人入勝的風格寫作。”}，{“角色”：“用戶”，“ content”：“您可以解釋動態的Vantagion Point樹木和高級式可導航小型（HNSW）的搜索效率和效力效率和精確性{ “助手”，“ content”：“因此，我們沒有使用HNSW使用圖形來遍歷所有節點，而是在此算法中使用動態Vantage Point樹對搜索空間進行定位。

如果我們使用少量內容，則模型可能會錯過上下文。我們需要在數據準備時牢記這一點。我在這裡只使用38個示例，但是100至500會更好。我創建了一個“我的content.csv”文件，其中每一行都以“ content”列寫下的內容。

現在，讓我們瀏覽代碼以正確的格式創建所需的數據。

代碼實現

OpenAI版本1.57.0在這裡使用。

1。導入庫。

來自dotenv import load_dotenv
load_dotenv（'/。env'）
導入大熊貓作為pd
導入tiktoken
來自Openai Import Openai

＃初始化OpenAI客戶端
客戶端= OpenAi（）

2。檢查令牌尺寸。

 df = pd.read_csv（'my content.csv'）
編碼= tiktoken.get_encoding（'o200k_base'）

total_token_count = 0
因為我在df ['content']中：
    token_count = len（encoding.encode（i））
    total_token_count = token_count

計數令牌將有助於我們估計微調的成本。

3。為LLM生成用戶內容。

 def generate_user_content（Assistion_Response）：
    
    ＃system_message = {“角色”：“ system”，“ content”：“您是一個有用的助手。您的任務是根據助手的響應生成用戶查詢。”}
    
    system_message = {“角色”：“系統”，“內容”：“”給定助手的響應，創建一個用戶查詢或 
    從邏輯上導致該響應的陳述。 
    用戶內容可以是問題的形式，也可以是澄清的請求，以提示 
    給出提供的答案的助手“”}
    
    
    Assistion_Message = {“ cool”：“助手”，“ content”：Assistion_Response}
    消息= [System_Message，Assistion_Message]

    響應= client.chat.completions.create（
        消息=消息，
        型號=“ gpt-4o-mini”，
        溫度= 1
    ）

    USER_CONTENT =響應。選擇[0] .message.content
    返回user_content

如我們所見，我提供了我寫的內容為助理內容，並要求LLM生成用戶內容。

 user_contents = []

因為我在df ['content']中：
    user_content = generate_user_content（i）
    user_contents.append（user_content）
    
df ['user_content'] = user_contents

我們可以將生成的用戶內容添加到DataFrame作為列。數據看起來像這樣：

在這裡，內容是由我編寫的，user_content是由LLM生成的，以用作用戶角色內容（提示）。

我們現在可以保存文件。

 df.to_csv（'user_content.csv'，index = false）

4。創建JSONL文件。

現在，我們可以使用上述CSV文件根據需要創建JSONL文件進行微調。

消息= pd.read_csv（'user_content.csv'）
messages.rename（columns = {'content'：'Assistry_content'}，inplace = true）

使用打開（'Message_dataset.jsonl'，'w'，encoding ='utf-8'）作為jsonl_file：
    
    對於_，在messages.iterrows（）中行列：
        
        USER_CONTENT =行['user_content']
        Assistion_Content =行['Assistry_content']

        jsonl_entry = {
            “消息”：[
                {“角色”：“系統”，“ content”：“您是一位助手，以清晰，信息豐富且引人入勝的風格寫作。
                {“角色”：“用戶”，“ content”：user_content}，，
                {“角色”：“助手”，“ content”：Assistion_Content}]]
        }

        jsonl_file.write（json.dumps（jsonl_entry）'\ n'）

如上所示，我們可以通過DataFrame迭代以創建JSONL文件。

在Openai平台中進行微調

現在，我們可以使用'Messages_Dataset.jsonl'來微調OpenAi LLM。

訪問網站並登錄如果沒有登錄。

如果沒有任何微調作業，則接口將如下：

我們可以單擊“了解更多”，以了解微調所需的所有詳細信息，包括可調的超參數。

現在，讓我們學習如何在OpenAI平台上微調模型。

1. 單擊“創建”。一個小窗口將打開。

2. 選擇該方法作為“監督”
3. 選擇基本模型作為“ GPT-4O”或“ GPT-4O-MINI”。使用GPT-4O-Mini時，我遇到了錯誤，所以我使用了GPT-4O。
4. 上傳JSONL文件。
5. 添加與微調工作相關的“後綴”
6. 使用任何數字作為“種子”以供可重複使用。
7. 選擇超參數，然後讓它們使用默認值。有關選擇它們的指南，請參閱上述文檔。

現在，我們可以單擊“創建”以啟動微調。

調整完成後，將顯示如下：

我們可以通過單擊右下角的按鈕來比較操場上預先存在的模型響應。

這是比較這兩個模型的響應的示例：

如我們所見，兩個模型的響應之間存在顯著差異。

如果我們使用更多示例，那麼結果可以改善。

現在讓我們了解Google AI Studio。

Google AI Studio

Google AI Studio是一種基於Web的工具，用於使用Gemini LLM構建應用程序。它還允許用戶使用自己的數據微調LLM。該自定義增強了模型對特定任務或行業的績效，使其更加相關和有效。 Gemini型號的微調功能是新推出的，目前僅適用於Gemini 1.5 Flash。截至2025年1月，該調整是免費的，推理成本與現有模型相同。

了解更多信息：Google的AI Studio：您通往雙子座創意宇宙的門戶！

數據上傳

對於雙子座模型，數據格式應如下：

 training_data = [<br><br> {“ text_input”：“ 1”，“輸出”：“ 2”}，，<br><br> {“ text_input”：“ 3”，“輸出”：“ 4”}，]，]

Google AI Studio提供了一個GUI（圖形用戶界面），可以從CSV文件上傳數據。為此：

1. 打開https://aistudio.google.com/prompts/new_data
2. 單擊“動作”，然後單擊“導入示例”。
3. 然後上傳CSV文件。屏幕看起來像這樣：

4. 將USER_CONTENT作為輸入列和內容分配為輸出列。
5. 然後，導入示例。我們可以刪除任何不必要的列，然後使用右上角的“保存”按鈕保存數據。

在AI工作室進行微調

要微調模型，請訪問https://aistudio.google.com/tune。

屏幕看起來像這樣：

現在，請按照以下步驟：

1. 從下拉菜單中選擇導入的數據。
2. 給調諧模型一個名稱。
3. 要了解有關高級設置的更多信息，請參閱https://ai.google.dev/gemini-api/docs/model-tuning。
4. 完成後，單擊“曲調”。

您可以在“庫”中找到調諧模型，如下所示：

我們還可以在聊天中使用該模型，如上圖所示。

結論

使用OpenAI平台和Google AI Studio對大型語言模型進行微調模型，使用戶可以根據特定的需求量身定制模型。這可能是使LLM採用獨特的寫作風格或改善其特定領域的性能。兩個平台都為數據準備和培訓提供了直觀的工作流程，並支持結構化格式以優化模型行為。借助可訪問的工具和清晰的文檔，他們可以通過將LLMS與所需的任務和目標緊密保持一致來釋放LLM的全部潛力。

常見問題

Q1。在大型語言模型（LLM）的背景下進行微調？

A.微調是培訓有關自定義數據的預訓練語言模型的過程，以使其行為適應特定的任務，樣式或域。它涉及提供輸入輸出對的示例，以指導模型的響應與用戶要求。

Q2。在OpenAI平台和Google AI工作室中進行微調需要哪種數據格式？

答：OpenAI平台需要以結構化的JSONL格式進行數據，通常具有“系統”，“用戶”和“助手”等角色。 Google AI Studio使用``text_input''和“ output”字段的更簡單格式，其中明確定義了輸入和所需的輸出。

Q3。有效的微調需要多少數據？

答：雖然具有30-50個示例的小型數據集可能會顯示一些結果，但具有100-500個示例的較大數據集通常通過為模型提供多種多樣和上下文富裕的方案而產生更好的性能。

Q4。微調平台與Google AI工作室之間的微調成本如何？

A. OpenAI收取基於培訓期間令牌用法的微調費用，更大的型號成本更高。 Google AI Studio目前為雙子座1.5 Flash型號提供免費的微調，使其成為實驗的經濟高效選擇。

Q5。微調LLM的主要好處是什麼？

A.微調允許用戶自定義模型以與特定要求保持一致，例如以特定的音調或樣式生成內容，提高特定領域特定任務的準確性，並通過使模型與預期的用例更相關，從而增強整體用戶體驗。

以上是OpenAI平台與Google AI Studio for Finetuning LLM的詳細內容。更多資訊請關注PHP中文網其他相關文章！