OpenAI へのファイルのアップロード: バトンを渡す

バトンを渡すという例えを完成させるために、準備した JSONL ファイルを Files API を使用して OpenAI にアップロードする方法を検討して、モデルの微調整に近づけることを可能にします。

ファイルをアップロードするためのステップバイステップガイド

前提条件

• openai Python パッケージがインストールされていることを確認してください。そうでない場合は、次を使用してインストールします:

pip install openai

• OpenAI の API 設定から OpenAI API キーを取得します。

_ OpenAI にファイルをアップロード_

• 準備された JSONL ファイルをアップロードするための Python スクリプトは次のとおりです。

from openai import OpenAI
client = OpenAI()
# File paths for training and testing datasets
file_paths = {
    "train": "train.jsonl",
    "test": "test.jsonl"
}

# Function to upload a file
def upload_file(file_path, purpose="fine-tune"):
    try:
        response = client.files.create(
            file=open(file_path, "rb"),
            purpose=purpose
        )
        print(f"File uploaded successfully: {file_path}")
        print(f"File ID: {response['id']}")
        return response["id"]
    except Exception as e:
        print(f"Failed to upload {file_path}: {e}")
        return None

# Upload both training and test files
file_ids = {split: upload_file(file_paths[split]) for split in file_paths}

print("Uploaded file IDs:", file_ids)

コードの説明

API キーの設定:

• リクエストを認証するために OpenAI API キーを設定します。

ファイルパス:

• 先ほど用意したJSONLファイル(train.jsonlとtest.jsonl)へのパスを指定します。

ファイルのアップロード:

• openai.files.create() を使用して JSONL ファイルを OpenAI にアップロードします。
• データセットを微調整するために、目的パラメーターは「微調整」に設定されています。

エラー処理:

• アップロード プロセス中に発生したエラーを捕捉して記録します。

ファイル ID:

• アップロード後、OpenAI はアップロードされた各ファイルに一意の file_id を割り当てます。これらの ID は、微調整プロセスを開始するときに必要になります。

出力例

アップロードが成功すると、次のようなメッセージが表示されます:

File uploaded successfully: dataset/train.jsonl
File ID: file-abc123xyz456
File uploaded successfully: dataset/test.jsonl
File ID: file-def789uvw012
Uploaded file IDs: {'train': 'file-abc123xyz456', 'test': 'file-def789uvw012'}

このステップが重要な理由

JSONL ファイルのアップロードは、シックス・トリプル・エイトが仕分けされた郵便物を最終配達のために郵便局に引き渡すのと似ています。 OpenAI のインフラストラクチャはモデルを効果的にトレーニングするために構造化され検証されたデータにアクセスする必要があるため、このステップがなければ微調整プロセスを進めることができません。

アップロードされると、バトンは OpenAI に渡され、これらのファイルを使用してモデルの微調整に進む準備が整います。

以上がOpenAI へのファイルのアップロード: バトンを渡すの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。