Memudahkan Pengekstrakan Data dengan Mod JSON OpenAI dan Skema JSON

Apabila saya mula-mula bereksperimen dengan ChatGPT-3.5 selepas dikeluarkan, saya sangat teruja dengan potensinya untuk pelbagai aplikasi. Walau bagaimanapun, keterujaan saya cepat pudar apabila saya menghadapi sekatan jalan utama: walaupun maklumat berharga yang dikembalikannya sangat boleh dibaca, ia bukan dalam bentuk yang boleh diserap dengan pasti oleh aplikasi. Ironinya, LLM cemerlang dalam mengekstrak maklumat daripada teks tidak berstruktur tetapi hanya boleh mengembalikannya dalam bentuk tidak berstruktur. Cuba untuk mengekstrak hasil daripada LLM secara pemrograman terasa seperti berada di restoran luar biasa yang menyajikan makanan paling lazat, tetapi tanpa sebarang perkakas — anda boleh melihat dan menghidunya, tetapi anda tidak boleh mendapatkannya.

Saya mencuba setiap helah dalam buku untuk memujuknya supaya memberikan saya sedikit kemiripan data berstruktur. "Sila, hanya asingkan setiap item dengan bar atau baris baharu dan langkau ulasan," saya merayu. Kadang-kadang berjaya, kadang-kadang tidak. Kadangkala ia akan "membantu" menomborkan atau menyusun semula item, seperti pembantu yang bermaksud baik tetapi sedikit keliru. Pada masa lain ia masih akan menyelinap dalam beberapa ulasan, mengingatkan rakan sekerja yang cerewet. Saya malah menuntutnya dengan tidak pasti untuk mengembalikan JSON dan tiada yang lain, tetapi kadangkala ia meninggalkan koma — hampir seolah-olah ia mengambil jelingan pasif-agresif. Akhirnya, saya berputus asa dan dengan berat hati kembali kepada batasan algoritma tradisional yang kurang menarik tetapi lebih boleh diramal.

Nasib baik, beberapa bulan kemudian, OpenAI memperkenalkan mod JSON, satu ciri yang memaksa LLM untuk mengembalikan JSON yang sah. Saya memutuskan untuk mencuba ciri ini dan mendapati ia lebih berkesan untuk memproses hasil dalam aplikasi saya. Berikut ialah contoh output dengan mod JSON didayakan:

PROMPT:‍
Parse the following sentence into words and then return the results
as a list of the original word and the translation in English and
return the results in JSON.
-- sentence --
早安‍


RESULTS:
{
  "results": [
    {
      "original": "早安",
      "translation": "Good morning"
    }
  ]
}

Keluaran ini sememangnya satu peningkatan. Walau bagaimanapun, walaupun output adalah JSON yang sah, strukturnya boleh berbeza-beza bergantung pada kandungan gesaan. Pendekatan yang lebih boleh diramal adalah untuk menentukan format pulangan yang diingini. Satu cara untuk mencapai ini adalah dengan menyediakan sampel struktur JSON untuk diikuti oleh LLM. Kaedah ini melibatkan mencipta contoh dan menulis kod untuk menghuraikannya. Jika struktur berubah, pengubahsuaian mesti dilakukan di kedua-dua tempat.

Pendekatan alternatif ialah mentakrifkan Objek Pemindahan Data (DTO) untuk menyimpan hasil dan menggunakannya untuk mengarahkan LLM dan menghuraikan keputusan, mengelakkan isu penyegerakan. Mula-mula, tentukan DTO, contohnya:‍

record Entries(List<entry> entries) {
    record Entry(String originalWord, String wordInEnglish, String pronunciation) {}
}
</entry>

Kini DTO boleh digunakan dalam arahan segera serta dengan kod penghuraian:

// Construct the prompt with the output schema.
var prompt = MessageFormat.format("""
   Parse the following sentence into English and return the results
   in JSON according to the following JSON schema.

   人工智慧將引領未來，以智慧之光照亮人類無限可能的前程。
   --- output json schema ---
   {0}
   """, jsonSchemaOf(Entries.class));
   var result = sendPrompt(prompt, Entries.class);

Berikut ialah kod yang menggunakan penjana Jackson JSON Schema:

PROMPT:‍
Parse the following sentence into words and then return the results
as a list of the original word and the translation in English and
return the results in JSON.
-- sentence --
早安‍


RESULTS:
{
  "results": [
    {
      "original": "早安",
      "translation": "Good morning"
    }
  ]
}

Nota: Secara lalai, skema yang dijana akan termasuk medan ID yang digunakan untuk rujukan, yang boleh membazir token. Lihat Contoh Mod OpenAI JSON repositori untuk kod yang mengalih keluar ID yang tidak digunakan ini.

Dan akhirnya, inilah kod yang menghantar gesaan kepada OpenAI menggunakan Azure OpenAI Java SDK:

record Entries(List<entry> entries) {
    record Entry(String originalWord, String wordInEnglish, String pronunciation) {}
}
</entry>

Penyelesaian berfungsi dengan baik pada kebanyakan masa. LLM memahami skema JSON dengan berkesan tetapi satu kata amaran: Saya pernah melihat kes yang kadangkala menjadi salah. Contohnya, jika medan ialah String dan namanya jamak (cth. “exampleValues”), LLM kadangkala berkeras untuk mengembalikan tatasusunan Rentetan.

LLM boleh menjana output yang luar biasa, kadangkala melebihi keupayaan orang biasa. Walau bagaimanapun, adalah menarik bahawa, sekurang-kurangnya buat masa ini, mereka bergelut dengan tugas yang lebih biasa untuk memformat output terjana mereka dengan pasti.

Atas ialah kandungan terperinci Memudahkan Pengekstrakan Data dengan Mod JSON OpenAI dan Skema JSON. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!