Pendekatan Praktikal untuk Pengekstrakan Maklumat Utama (Bahagian 2)

Pengeluaran Maklumat Utama Kehidupan Sebenar (Bahagian 2): Menapis Prestasi LLM Sumber Terbuka

Bersambung dari Bahagian 1, panduan ini meneroka menggunakan Model Bahasa Besar (LLM) sumber terbuka – Qwen2 2B dan LLaMA 3.1 – untuk pengekstrakan maklumat invois, memfokuskan pada mengatasi kebimbangan privasi data dan had perkakasan (RTX 3060 dengan 12GB VRAM).

Mengapa Qwen2 2B dan LLaMA 3.1?

Pilihan model ini didorong oleh kekangan sumber. Qwen2-VL-2B-Instruct, kerana saiznya yang cekap, telah diutamakan berbanding model 7B yang lebih besar. LLaMA 3.1 (8B), diakses melalui Ollama, telah dipilih untuk pemahaman konteks panjang yang dioptimumkan. Model lain, seperti Qwen2 dalam Ollama (tiada sokongan imej) dan LLaVA (keupayaan berbilang bahasa tidak mencukupi), dianggap tidak sesuai.

Strategi dua model ini memanfaatkan kekuatan Qwen2 dalam pengekstrakan maklumat utama umum dan pengendalian konteks panjang LLaMA 3.1 yang unggul dan konsistensi output JSON, terutamanya untuk dokumen berbilang bahasa. Qwen2 pada mulanya mengekstrak maklumat mentah, yang LLaMA 3.1 kemudiannya diperhalusi dan distrukturkan ke dalam format JSON piawai. PaddleOCR, seperti dalam Bahagian 1, meningkatkan keupayaan penglihatan untuk Qwen2.

Contoh Invois Jepun

Invois Jepun digunakan sebagai kes ujian. Proses OCR awal (menggabungkan pengesanan bahasa dan PaddleOCR) menghasilkan teks yang diiktiraf berikut:

<code>Recognized Text: 
{'ori_text': '根岸 東急ストア TEL 045-752-6131 領収証 [TOP2C!UbO J3カード」 クレヅッ 卜でのお支払なら 200円で3ボイン卜 お得なカード! 是非こ入会下さい。 2013年09月02日(月) レジNO. 0102 NOO07さ と う 001131 スダフエウ卜チーネ 23 単198 1396 003271 オインイ年 ユウ10 4238 000805 ソマ一ク スモー一クサーモン 1298 003276 タカナン ナマクリーム35 1298 001093 ヌテラ スフレクト 1398 000335 バナサ 138 000112 アボト 2つ 単158 1316 A000191 タマネキ 429 合計 2,111 (内消費税等 100 現金 10001 お預り合計 110 001 お釣り 7 890', 
'ori_language': 'ja', 
'text': 'Negishi Tokyu Store TEL 045-752-6131 Receipt [TOP2C!UbO J3 Card] If you pay with a credit card, you can get 3 points for 200 yen.A great value card!Please join us. Monday, September 2, 2013 Cashier No. 0102 NOO07 Satou 001131 Sudafue Bucine 23 Single 198 1396 003271 Oinyen Yu 10 4238 000805 Soma Iku Smo Iku Salmon 1298 003276 Takanan Nama Cream 35 1 298 001093 Nutella Sprect 1398 000335 Banasa 138 000112 Aboto 2 AA 158 1316 A000191 Eggplant 429 Total 2,111 (including consumption tax, etc. 100 Cash 10001 Total deposited 110 001 Change 7 890', 
'language': 'en',}</code>

Ini dibandingkan dengan garis dasar ChatGPT, menunjukkan prestasi unggul ChatGPT dalam ujian awal ini.

Keputusan Qwen2 2B (Standalone)

Menggunakan Qwen2 secara bebas mendedahkan batasannya. Output JSON tidak lengkap dan tidak tepat dalam beberapa bidang, menonjolkan perjuangannya dengan pemformatan JSON yang konsisten dan pemprosesan konteks panjang.

Pendekatan Qwen2 dan LLaMA 3.1

Menggunakan LLaMA 3.1 sebagai pemproses pasca untuk memperhalusi output Qwen2 menghasilkan hasil yang lebih baik, tetapi masih tidak sempurna. Walaupun beberapa medan utama diekstrak dengan tepat, maklumat item terperinci kekal bermasalah.

Penambahbaikan Masa Depan: Penalaan halus Qwen2VL

Bahagian seterusnya akan memperincikan penalaan halus model Qwen2VL menggunakan set data data resit, bertujuan untuk meningkatkan dengan ketara kedua-dua ketepatan dan kelajuan pemprosesan untuk tugas khusus ini.

Kesimpulan

Percubaan ini mempamerkan potensi dan had LLM sumber terbuka untuk pengekstrakan maklumat utama dunia sebenar. Walaupun pendekatan gabungan menawarkan penambahbaikan berbanding menggunakan satu model, penghalusan selanjutnya, terutamanya melalui penalaan halus model, adalah perlu untuk mencapai prestasi optimum. Tumpuan pada privasi data dan penggunaan sumber yang cekap kekal sebagai kelebihan utama pendekatan sumber terbuka ini.

Atas ialah kandungan terperinci Pendekatan Praktikal untuk Pengekstrakan Maklumat Utama (Bahagian 2). Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!