如何微調GPT 3.5：解鎖AI的全部潛力

OpenAI的最新語言模型GPT-3.5 Turbo代表了大型語言模型功能的一個重大飛躍。 GPT-3.5 Turbo建立在GPT-3模型家族的基礎上，可以產生非常類似於人類的文本，同時比以前的版本更實惠和更容易獲得。但是，GPT-3.5 Turbo的真正力量在於它通過稱為微調的過程來定制的能力。

微調使開發人員可以攜帶自己的數據以使模型適應特定的用例，並顯著提高專業任務的性能。通過微調，GPT-3.5 Turbo在某些狹窄的應用中甚至已經匹配或超過GPT-4。

>這種新的自定義級別釋放了企業和開發人員部署GPT-3.5 Turbo的潛力，以創建量身定制的高性能AI應用程序。隨著GPT-3.5 Turbo和今年晚些時候更強大的GPT-4的微調可用，我們站在Applied AI的新時代的風口浪尖。

為什麼要微調語言模型？

>

>微調已成為從GPT-3.5 Turbo等大型語言模型中獲得最大收益的關鍵技術。例如，我們有一個單獨的指南，以微調GPT-3。

>預先訓練的模型可以從開箱即用產生非常類似的人類文本，但通過微調來解鎖其真正的功能。該過程使開發人員可以通過對特定於域的數據進行訓練來自定義該模型，從而將其調整為專用用例，而不是通用培訓可以實現的。微調改善了模型的利基應用程序的相關性，準確性和性能。

特定用例的自定義

微調使開發人員可以自定義模型以創建獨特的和差異化的體驗，從而滿足特定的要求和域。通過對特定於域數據的模型訓練模型，它可以為該利基生成更相關和準確的輸出。這種自定義級別使企業能夠構建量身定制的AI應用程序。

>

提高了可恢復性和可靠性

>微調提高了模型遵循說明並產生可靠，一致的輸出格式的能力。通過對格式化數據進行培訓，該模型了解了所需的結構和样式，從而提高了可識別性。這將導致更可預測和可控的輸出。

>

增強性能

>微調可以顯著提高模型性能，即使允許在某些專業任務上進行微調的GPT-3.5 Turbo匹配或超過GPT-4功能。通過優化狹窄域的模型，它與通才模型相比，它在利基問題空間中取得了卓越的結果。微調的性能提升是很大的。

>在12個GPT-4開源替代方案上查看我們的指南，該替代方案探討了一些可以提供類似性能的工具，並且需要更少的計算資源來運行。

微調gpt 3.5-turbo

的影響 在OpenAI進行的Beta測試中，他們觀察到，對模型進行微調的客戶在各種標準應用程序的性能方面都有明顯的增強。這是一些關鍵要點：

1。增強的可指導性

通過微調，公司可以更好地指導模型遵守某些準則。例如，如果公司想要簡潔的響應或需要模型始終用特定語言回复，那麼微調可以幫助實現這一目標。一個經典的例子是，開發人員可以在要求時調整模型以始終如一地用德語回复。

>

2。一致的響應結構

微調的傑出好處之一是它的能力使模型的輸出更加均勻。這對於需要特定響應結構（例如代碼建議或生成API交互）的任務特別有價值。例如，通過微調，開發人員可以信任該模型將用戶查詢轉換為與其係統兼容的質量JSON格式。

3。個性化音調

可以使用微調來使模型的響應與公司的獨特聲音或風格更加緊密地保持一致。具有獨特品牌聲音的公司可以利用此功能來確保模型的基調與其品牌的本質相匹配。 微調

的先決條件 通過在您自己的數據上繼續培訓過程，

微調允許自定義預訓練的語言模型，例如GPT-3.5 Turbo。這使該模型適應您的特定用例，並大大提高了其性能。

開始微調，您首先需要訪問OpenAI API。在OpenAI網站上註冊後，您可以獲取一個API密鑰，使您能夠與API和模型進行交互。

>

接下來，您需要準備一個數據集進行微調。這涉及策劃文本提示的示例和所需的模型響應。數據應匹配您的應用程序將使用該模型的格式。清潔和格式化到所需的JSONL結構中也很重要。

>

OpenAI CLI提供了有用的工具來驗證和預處理您的培訓數據。

>一旦驗證，您就可以將數據上傳到OpenAI服務器。

>最後，您通過API啟動微調作業，選擇基本GPT-3.5

>渦輪模型並傳遞培訓數據文件。微調過程可能需要數小時或幾天，具體取決於數據大小。您可以通過API監視培訓進度。

>如何微調Openai GPT 3.5-Turbo型號：逐步指南

> OpenAI最近發布了用於微調語言模型的UI接口。在本教程中，我將使用OpenAI UI創建一個微調的GPT模型。要跟隨這一部分，您必須擁有一個OpenAI帳戶和鑰匙。

>

1。登錄到platform.openai.com

2。準備數據

>用於演示，我已經策劃了一個小問題答案數據集，目前將其存儲為pandas dataframe。

只是為了展示我的所作所為，我以莎士比亞風格創建了50個機器學習問題及其答案。通過這項微調工作，我個性化GPT3.5-Turbo模型的風格和音調。

>即使不是一個非常實用的用例，您可能會在提示中簡單地添加“莎士比亞風格的答案”，但GPT3.5肯定會意識到莎士比亞，並且會以所需的音調產生答案。

對於OpenAI，數據必須以JSONL格式為JSONL。 JSONL是一種格式，其中每行都是有效的JSON對象，被Newlines隔開。我寫了一個簡單的代碼將pd.dataframe轉換為jsonl。

這是我的JSONL文件的樣子：

import json
import pandas as pd

DEFAULT_SYSTEM_PROMPT = 'You are a teaching assistant for Machine Learning. You should help the user to answer his question.'

def create_dataset(question, answer):
    return {
        "messages": [
            {"role": "system", "content": DEFAULT_SYSTEM_PROMPT},
            {"role": "user", "content": question},
            {"role": "assistant", "content": answer},
        ]
    }

if __name__ == "__main__":
    df = pd.read_csv("path/to/file.csv", encoding='cp1252')
    with open("train.jsonl", "w") as f:
        for _, row in df.iterrows():
            example_str = json.dumps(create_dataset(row["Question"], row["Answer"]))
            f.write(example_str + "\n")

3。創建微調作業

>前往platform.openai.com並在頂部菜單中導航到微調，然後單擊“創建新”。

選擇基本模型。截至目前，只有3種型號可用於微調（Babbage-002，Davinci-002，GPT-3.5-Turbo-0613）。

接下來，只需上傳JSONL文件，命名作業名稱，然後單擊創建。 根據數據集的大小，調整作業可能需要幾個小時甚至幾天。在我的示例中，數據集只有5,500個令牌，經過6個小時的微調。這項工作的成本微不足道（＆lt; $ 1 = 5,500/1000 x $ 0.08）。

>

本教程顯示瞭如何使用UI微調GPT模型。如果您想學習如何使用API​​學習相同的事情，請使用DataCamp上的Zoumana Keita使用OpenAI API和Python教程查看微調GPT-3。

4。使用微調模型

調整作業完成後，您現在可以通過API進行微調模型或在Platform.openai.com上使用可用的操場。

請注意，在模型下拉下，現在有一個個人3.5-Turbo可供選擇。讓我們嘗試一下。

注意響應的語氣和風格。

如果您想學習如何與OpenAi Python軟件包合作以與Chatgpt進行對話，請在Datacamp上的Python博客中使用OpenAI API查看GPT-3.5和GPT-4。

安全和隱私

OpenAi認真對待安全性，並在發布新模型之前具有嚴格的過程，包括測試，專家反饋，改善模型行為和監視系統的技術。他們的目的是使強大的AI系統有益並最大程度地降低可預見的風險。

>

微調允許自定義諸如GPT-3.5 Turbo之類的型號，同時保留重要的安全功能。 OpenAI在多個級別採用乾預措施 - 測量，模型更改，策略，監視 - 以減輕風險和對齊模型。

OpenAi從可行的培訓數據中刪除了個人信息，並製定了不針對與私人信息產生內容的政策。這可以最大程度地減少隱私風險。

對於沒有敏感數據的常見用例，可以安全地利用OpenAI模型。但是，對於專有或受監管的數據，可能會優選諸如數據混淆，私人AI處理器或內部模型之類的選項。

>

微調GPT 3.5-Turbo

的成本

>與微調和使用微調的GPT 3.5-Turbo型號相關的三個費用。

培訓數據準備。 這涉及策劃文本提示的數據集，並根據您的特定用例量身定制的所需響應。成本將取決於源和格式化數據所需的時間和精力。 >
1. > >初始培訓成本。 這是根據培訓數據的代幣收取的。 100,000個令牌培訓套件的每1000個令牌為$ 0.008，初始微調的費用為$ 800。 >
>正在進行的用法成本。
2. 對於輸入提示和模型輸出，每個令牌均已收取這些費用。每1,000美元的輸入令牌$ 0.012和每1,000美元的輸出令牌$ 0.016，成本可以迅速增加，具體取決於申請使用情況。 >
讓我們看看使用成本方案的示例：
3. Chatbot with 4,000 token prompts/responses, 1,000 interactions per day:
(4,000/1000) input tokens x $0.012 x 1,000 interactions = $48 per day

(4,000/1000) output tokens x $0.016 x 1,000 interactions = $64 per day

Total = $112 per day or $3,360 per month

• 
  >文本摘要API，帶有2,000個令牌輸入，每天500個請求：（2,000/1000）輸入令牌x $ 0.012 x 500請求= $ 12每天
  （2,000/1000）輸出令牌x $ 0.016 x 500 x 500 x 500 x 500 x 500 x 500 x 500 x 500 x 500 x 500 x 500 x 500 x 500 x 500 x 500 x 500 x 500 x 500 x 500 x 500 x 500 x 500 x 500 x 500 x 500 x 500 x 500 x 500
  
注意：令牌除以1000，因為每1k代幣引用了openai定價。

>學習如何在現實生活中的端到端數據科學項目中使用chatgpt。查看使用CHATGPT進行數據科學項目的指南，以了解如何使用ChatGpt進行項目計劃，數據分析，數據預處理，模型選擇，超參數調整，開發Web應用程序並將其部署在空間上。

>>>>>>

結論

當我們深入研究大型語言模型功能的邊界時，GPT-3.5 Turbo不僅脫穎而出，不僅是其類似人類的文字生成，而且還因為通過微調而解鎖的變革潛力。此自定義過程使開發人員可以磨練模型的能力以適合利基應用程序，從而取得了卓越的結果，甚至可以匹配或超過其在專業領域中的繼任者。

>在對應用程序進行微調以符合不同要求的應用程序中，指導性，響應結構和音調個性化的增強功能是顯而易見的，從而使企業能夠帶來獨特的AI驅動體驗。但是，擁有強大的力量帶來了巨大的責任。在實施生成的AI和語言模型時，了解相關成本並註意安全和隱私注意事項至關重要。

>使用數據科學的ChatGPT備忘單提示60個CHATGPT提示數據科學任務。

以上是如何微調GPT 3.5：解鎖AI的全部潛力的詳細內容。更多資訊請關注PHP中文網其他相關文章！