Comprendre le format OpenAI JSONL : organiser les enregistrements

Au début du tri du courrier pour le service postal, les Six Triple Eight étaient confrontés à des difficultés avec les lettres retournées marquées comme invalides. Cela était souvent dû à des erreurs dues à leur manque d’expérience dans le traitement d’un volume de courrier aussi énorme. Au fil du temps, ils ont développé des systèmes d'indexation innovants pour faire correspondre les noms avec les régiments et les grades, améliorant ainsi considérablement l'efficacité et la précision.

De même, lorsque vous travaillez avec les grands modèles linguistiques (LLM) d'OpenAI, il est crucial de comprendre et de respecter le format d'entrée requis. Tout comme un courrier mal indexé entraîne le retour de lettres, des données mal formatées peuvent entraîner un réglage inefficace et des résultats sous-optimaux. OpenAI utilise le format JSONL (JSON Lines) comme cadre organisationnel pour un réglage fin, garantissant que les données sont structurées et prêtes à être traitées.

Pourquoi le format JSONL ?

Le format JSONL permet de stocker les données dans une structure ligne par ligne, où chaque ligne représente un seul enregistrement au format JSON. Cette structure est compacte, facile à lire et compatible avec l’API de réglage fin d’OpenAI. Un formatage approprié garantit :

• Précision : le modèle traite les données comme prévu, évitant ainsi les erreurs.

• Efficacité : le réglage fin devient transparent avec une structure cohérente.

• Évolutivité : de grands ensembles de données peuvent être gérés efficacement sans configurations complexes.

Exemple de format JSONL pour un réglage précis

Voici comment les données sont généralement formatées en JSONL pour affiner les modèles OpenAI :

 openai_format = {
        "message":[
            {"role":"system","content":system},
            {"role":"user","content":""},
            {"role":"assistant","content":""}
        ]
    }

Chaque enregistrement comporte trois éléments clés :

• Système : L'invite requise

• utilisateur : les exemples de données.

• assistant : Le label pour les données

Laissez convertir

import  json
df = pd.read_csv('/content/dataset/train.csv', on_bad_lines='skip')

final_df = df.head(150)
total_tokens = cal_num_tokens_from_df(final_df,'gpt-3.5-turbo')
print(f"total {total_tokens}")


system ="You are a intelligent assistant designed to classify news articles into three categories :business ,entertainment,sport,tech,politics"
with open('dataset/train.jsonl','w') as f:
  for _,row in final_df.iterrows():
    openai_format = {
        "message":[
            {"role":"system","content":system},
            {"role":"user","content":row['text']},
            {"role":"assistant","content":row['label']}
        ]
    }
    json.dump(openai_format,f)
    f.write('\n')

Exemple de réponse

{"message": [{"role": "system", "content": "You are a intelligent assistant designed to classify news articles into three categories :business ,entertainment,sport,tech,politics"}, {"role": "user", "content": "qantas considers offshore option australian airline qantas could transfer as"}, {"role": "assistant", "content": "business"}]}

Leçons du Six Triple Huit

Les premiers défis du Six Triple Eight dans le traitement du courrier soulignent l'importance de la préparation et de l'apprentissage. Leurs innovations en matière d'indexation garantissaient que les enregistrements étaient correctement mis en correspondance et livrés, tout comme le respect du format JSONL garantit qu'un réglage fin donne des résultats efficaces et précis.

Lors de la mise au point des LLM, la compréhension et la structuration des données dans le bon format sont aussi essentielles que le parcours du Six Triple Eight pour maîtriser l'art du tri du courrier. En apprenant à la fois de l’histoire et de la technologie, nous pouvons obtenir des résultats remarquables en résolvant des défis logistiques complexes.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!