GPT 3.5を微調整する方法：AI＆＃x27;の最大のロックを解除する

Openaiの最新の言語モデルであるGPT-3.5 Turboは、大規模な言語モデル機能における大きな飛躍を表しています。 GPT-3ファミリーのモデルに基づいて構築されたGPT-3.5ターボは、以前のバージョンよりも手頃でアクセスしやすい一方で、非常に人間のようなテキストを生成できます。ただし、GPT-3.5ターボの真の力は、微調整と呼ばれるプロセスを通じてカスタマイズされる能力にあります。

微調整により、開発者は独自のデータを持ち込み、モデルを特定のユースケースに適応させ、特殊なタスクのパフォーマンスを大幅に向上させることができます。微調整により、GPT-3.5ターボは、特定の狭いアプリケーションでGPT-4を一致または超えています。 この新しいレベルのカスタマイズは、企業や開発者がGPT-3.5ターボを展開して、テーラードで高性能なAIアプリケーションを作成する可能性を解き放ちます。 GPT-3.5ターボとさらに強力なGPT-4が今年後半に微調整できるようになると、私たちは応用AIの新しい時代のカスプに立っています。

なぜ言語モデルを微調整するのですか？

微調整は、GPT-3.5ターボのような大規模な言語モデルを最大限に活用するための重要なテクニックになりました。たとえば、微調整GPT-3に関する個別のガイドがあります。

事前に訓練されたモデルは、箱から出して非常に人間のようなテキストを生成できますが、それらの真の機能は微調整によりロック解除されます。このプロセスにより、開発者はモデルをドメイン固有のデータでトレーニングしてモデルをカスタマイズし、汎用トレーニングが達成できるものを超えて専門的なユースケースに適合させることができます。微調整は、ニッチアプリケーションのモデルの関連性、正確性、パフォーマンスを向上させます。 特定のユースケースのカスタマイズ

微調整により、開発者はモデルをカスタマイズして、特定の要件とドメインに対応し、ユニークで差別化されたエクスペリエンスを作成できます。ドメイン固有のデータでモデルをトレーニングすることにより、そのニッチのより関連性の高い正確な出力を生成できます。このレベルのカスタマイズにより、企業はカスタマイズされたAIアプリケーションを構築できます。

操縦性と信頼性が向上しました

微調整は、命令に従い、信頼できる一貫した出力フォーマットを生成するモデルの能力を向上させます。フォーマットされたデータに関するトレーニングを通じて、モデルは望ましい構造とスタイルを学習し、操縦性を向上させます。これにより、より予測可能で制御可能な出力が得られます

パフォーマンスの強化

微調整は、モデルのパフォーマンスを大幅に向上させることができ、微調整されたGPT-3.5ターボが特定の特殊なタスクでGPT-4機能に合わせたり、それを超えることもできます。狭いドメインのモデルを最適化することにより、ジェネラリストモデルと比較して、そのニッチ問題空間で優れた結果を達成します。微調整からのパフォーマンスリフトはかなりのものです。

12 GPT-4オープンソースの代替案に関するガイドをチェックしてください。これは、同様のパフォーマンスを提供し、実行するために必要な計算リソースが少ないツールの一部を調査します。

微調整GPT 3.5ターボ

の影響 Openaiが実施したベータテストでは、モデルを微調整した顧客は、さまざまな標準アプリケーションのパフォーマンスで顕著な機能強化を経験したことを観察しました。ここにいくつかの重要なテイクアウトがあります：

1。向上性の向上

微調整を通じて、企業は特定のガイドラインを順守するようにモデルをよりよく導くことができます。たとえば、企業が簡潔な応答を望んでいるか、特定の言語で常に返信するためにモデルが必要な場合、微調整はそれを達成するのに役立ちます。典型的な例は、開発者がモデルを調整して、要求されるたびにドイツ語で一貫して返信できることです。

2。一貫した応答構造化

微調整の傑出した利点の1つは、モデルの出力をより均一にする能力です。これは、コード提案やAPI相互作用の生成など、特定の応答構造を必要とするタスクにとって特に価値があります。たとえば、微調整により、開発者はモデルを信頼して、ユーザークエリをシステムと互換性のある高品質のJSON形式に変換できます。

3。パーソナライズされたトーン

微調整を使用して、モデルの応答を企業のユニークな音声やスタイルとより密接に合わせることができます。明確なブランドの声を持つ企業は、この機能を活用して、モデルのトーンがブランドの本質に一致するようにすることができます。 微調整の前提条件

微調整により、独自のデータでトレーニングプロセスを継続することにより、GPT-3.5ターボなどの事前に訓練された言語モデルをカスタマイズできます。これにより、モデルが特定のユースケースに適応し、パフォーマンスが大幅に向上します。

微調整を開始するには、最初にOpenAI APIにアクセスする必要があります。 OpenAI Webサイトでサインアップした後、APIとモデルと対話できるAPIキーを取得できます。

次に、微調整のためにデータセットを準備する必要があります。これには、テキストプロンプトの例と望ましいモデル応答の例をキュレーションすることが含まれます。データは、アプリケーションがモデルを使用する形式と一致する必要があります。データを必要なJSONL構造にクリーニングしてフォーマットすることも重要です。

Openai CLIは、トレーニングデータを検証および前処理するための便利なツールを提供します。

検証されたら、データをOpenaiサーバーにアップロードできます。

最後に、APIを介して微調整されたジョブを開始し、ベースGPT-3.5

を選択します

ターボモデルとトレーニングデータファイルの渡し。データサイズに応じて、微調整プロセスには数時間または数日かかる場合があります。 APIを介してトレーニングの進捗状況を監視できます

Openai GPT 3.5ターボモデルを微調整する方法：ステップバイステップガイド

Openaiは最近、微調整言語モデル向けのUIインターフェイスをリリースしました。このチュートリアルでは、OpenAI UIを使用して微調整されたGPTモデルを作成します。この部分に沿って従うには、Openaiアカウントとキーが必要です。

1。 platform.openai.comにログイン

2。データを準備

デモンストレーションのために、質問の回答の小さなデータセットをキュレーションしました。現在、Pandas DataFrameとして保存されています。

私がやったことを示すために、私は50の機械学習の質問と彼らの答えをシェークスピアスタイルで作成しました。この微調整の仕事を通して、私はGPT3.5ターボモデルのスタイルとトーンをパーソナライズしています。

それは非常に実用的なユースケースではありませんが、プロンプトに「シェークスピアスタイルの回答」を追加するだけなので、GPT3.5はシェークスピアを確かに認識しており、必要なトーンで答えを生成します。 Openaiの場合、データはJSONL形式でなければなりません。 JSONLは、各行がNewlinesで区切られた有効なJSONオブジェクトである形式です。 pd.dataframeをjsonlに変換する簡単なコードを書きました。

これは私のjsonlファイルがどのように見えるかです：

import json
import pandas as pd

DEFAULT_SYSTEM_PROMPT = 'You are a teaching assistant for Machine Learning. You should help the user to answer his question.'

def create_dataset(question, answer):
    return {
        "messages": [
            {"role": "system", "content": DEFAULT_SYSTEM_PROMPT},
            {"role": "user", "content": question},
            {"role": "assistant", "content": answer},
        ]
    }

if __name__ == "__main__":
    df = pd.read_csv("path/to/file.csv", encoding='cp1252')
    with open("train.jsonl", "w") as f:
        for _, row in df.iterrows():
            example_str = json.dumps(create_dataset(row["Question"], row["Answer"]))
            f.write(example_str + "\n")

3。微調整ジョブを作成します

Platform.openai.comに向かい、トップメニューの微調整に移動し、[新しい]をクリックします。

ベースモデルを選択します。現在のところ、微調整に利用できるモデルは3つだけです（Babbage-002、Davinci-002、GPT-3.5-Turbo-0613）。

次に、JSONLファイルをアップロードして、ジョブの名前を付けて、[作成]をクリックします。

データセットのサイズに応じて、チューニングジョブには数時間または数日かかる場合があります。私の例では、データセットには5,500トークンしかありませんでしたが、微調整には6時間以上かかりました。このジョブのコストは取るに足らないものでした（＆lt; $ 1 = 5,500/1000 x $ 0.08）。

このチュートリアルは、UIを使用してGPTモデルを微調整する方法を示しています。 APIを使用して同じことを達成する方法を学びたい場合は、DatacampでZoumana KeitaによるOpenAI APIおよびPythonチュートリアルを使用してGPT-3を微調整してください。 4。微調整されたモデルを使用

チューニングジョブが完了したら、APIを介して微調整されたモデルを使用するか、Platform.openai.comで利用可能な遊び場を使用できるようになりました。

モデルのドロップダウンでは、選択できる個人的な3.5ターボがあります。試してみましょう。

応答のトーンとスタイルに注意してください。

Openai Pythonパッケージで作業する方法を学びたい場合は、プログラムでChatGPTと会話をします。DatacampのPythonブログのOpenai APIを介してGPT-3.5とGPT-4を使用してチェックしてください。

安全性とプライバシー

OpenAIは安全性を真剣に受け止め、テスト、専門家のフィードバック、モデルの動作、監視システムを改善するための技術などの新しいモデルをリリースする前に、厳密なプロセスを持っています。彼らは強力なAIシステムを有益にし、予見可能なリスクを最小限に抑えることを目指しています。

微調整により、重要な安全機能を維持しながら、GPT-3.5ターボなどのモデルをカスタマイズできます。 OpenAIは、リスクを軽減し、モデルを調整するために、測定、モデルの変更、ポリシー、監視 - 複数のレベルで介入を適用します。

Openaiは、実現可能なトレーニングデータから個人情報を削除し、個人の情報でコンテンツを生成することに対してポリシーを持っています。これにより、プライバシーのリスクが最小限に抑えられます

機密データのない一般的なユースケースの場合、OpenAIモデルを安全に活用できます。しかし、独自のデータまたは規制されたデータの場合、データの難読化、プライベートAIプロセッサ、または社内モデルなどのオプションが望ましい場合があります。

微調整GPT 3.5-Turbo

のコスト

微調整と微調整されたGPT 3.5ターボモデルの使用に関連する3つのコストがあります。

データの準備のトレーニング。

これには、特定のユースケースに合わせたテキストプロンプトと望ましい応答のデータセットをキュレーションすることが含まれます。コストは、データの調達とフォーマットに必要な時間と労力に依存します。

初期トレーニングコスト。
1. これは、トレーニングデータのトークンごとに請求されます。 1,000トークンあたり0.008ドルで、100,000トークンのトレーニングセットは、最初の微調整に800ドルかかります。 継続的な使用コスト。
これらは、入力プロンプトとモデル出力の両方に対してトークンごとに充電されます。入力トークン1,000あたり0.012ドル、出力トークン1,000あたり0.016ドルで、アプリケーションの使用量に応じてコストが迅速に増加する可能性があります。
2. 使用コストシナリオの例を見てみましょう：
4,000トークンのプロンプト/応答、1日あたり1,000個の相互作用を備えたチャットボット：
3. （4,000/1000）入力トークンx $ 0.012 x 1,000インタラクション= 1日あたり48ドル（4,000/1000）
2,000トークン入力を備えたテキスト要約API、1日あたり500リクエスト：

（2,000/1000）入力トークンx $ 0.012 x 500リクエスト= 1日あたり12ドル

（2,000/1000）トークンx $ 0.016 x 500リクエスト= 1日あたり16ドル

注：トークンは、1Kトークンごとにopenai価格設定が引用されているため、1000で割った。
• 実際のエンドツーエンドデータサイエンスプロジェクトでChatGPTを使用する方法を学びます。データサイエンスプロジェクトにChatGptを使用するためのガイドをご覧ください。プロジェクト計画、データ分析、データの前処理、モデル選択、ハイパーパラメーターチューニング、Webアプリの開発、スペースに展開するためにChatGPTを使用する方法を学習します。

  結論

  大規模な言語モデル機能のフロンティアを掘り下げると、GPT-3.5ターボは、その人間のようなテキスト生成だけでなく、微調整によってロックされている変革の可能性についても際立っています。このカスタマイズプロセスにより、開発者はニッチなアプリケーションに合わせてモデルの腕前を磨くことができます。

  直接性、応答構造、およびトーンパーソナライズの強化は、異なる要件に合わせて微調整されたアプリケーションで明らかです。しかし、大きな力には大きな責任があります。生成AIおよび言語モデルを実装する際には、関連するコストを理解し、安全性とプライバシーの考慮事項に留意することが重要です。

  データサイエンスのChatGPTチートシートを使用して、データサイエンスタスクの60のChatGPTプロンプトへのアクセスを取得します。

以上がGPT 3.5を微調整する方法：AI＆＃x27;の最大のロックを解除するの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。