Selain RAG, terdapat lima cara untuk menghapuskan ilusi model besar

Dihasilkan oleh 51CTO Technology Stack (WeChat ID: blog51cto)

Adalah diketahui umum bahawa LLM boleh menghasilkan halusinasi - iaitu, menjana maklumat yang tidak betul, mengelirukan atau tidak bermakna.

Menariknya, sesetengah orang, seperti Ketua Pegawai Eksekutif OpenAI Sam Altman, melihat imaginasi AI sebagai kreativiti, manakala yang lain percaya bahawa imaginasi boleh membantu membuat penemuan saintifik baharu.

Walau bagaimanapun, dalam kebanyakan kes, adalah penting untuk memberikan jawapan yang betul, dan halusinasi bukanlah satu ciri, tetapi satu kecacatan.

Jadi, bagaimana untuk mengurangkan halusinasi LLM? Konteks panjang? RAG? Penalaan halus?

Malah, LLM konteks panjang tidak mudah, carian vektor RAG tidak memuaskan, dan penalaan halus datang dengan cabaran dan batasannya sendiri.

Berikut adalah beberapa teknik lanjutan yang boleh anda gunakan untuk mengurangkan ilusi LLM.

1. Advanced Prompts

Memang terdapat banyak perbincangan tentang sama ada menggunakan gesaan yang lebih baik atau lebih maju boleh menyelesaikan masalah halusinasi model bahasa besar (LLM).

Gambar

Sesetengah orang berpendapat bahawa menulis perkataan segera yang lebih terperinci tidak akan membantu menyelesaikan masalah (halusinasi), tetapi orang seperti pengasas bersama Google Brain, Andrew Ng melihat potensinya. Mereka mencadangkan kaedah baharu untuk menjana perkataan pantas melalui teknologi pembelajaran mendalam untuk membantu orang ramai menyelesaikan masalah dengan lebih baik. Kaedah ini menggunakan sejumlah besar data dan kuasa pengkomputeran yang berkuasa untuk menjana perkataan segera yang berkaitan dengan masalah secara automatik, dengan itu meningkatkan kecekapan penyelesaian masalah. Walaupun bidang ini

Andrew Ng percaya bahawa keupayaan inferens GPT-4 dan model lanjutan lain menjadikan mereka sangat baik dalam mentafsir perkataan gesaan yang kompleks dengan arahan terperinci.

Gambar

"Dengan pembelajaran berbilang contoh, pembangun boleh memberikan berpuluh-puluh, malah ratusan, contoh dalam perkataan kiu, yang lebih berkesan daripada pembelajaran beberapa contoh," tulisnya.

Pictures

Untuk menambah baik perkataan segera, banyak perkembangan baharu turut muncul Contohnya, Anthropic mengeluarkan alat "Prompt Generator" baharu pada 10 Mei, yang boleh menukar perihalan ringkas kepada perkataan gesaan Lanjutan yang dioptimumkan untuk besar. model bahasa (LLM). Melalui konsol Anthropic, anda boleh menjana perkataan pantas untuk pengeluaran.

Baru-baru ini, Marc Andreessen juga berkata bahawa dengan gesaan yang betul, kami boleh membuka kunci potensi super genius dalam model AI. "Teknik menggesa di kawasan berbeza boleh membuka kunci potensi super-genius ini," tambahnya.

2. Rantaian Pengesahan Meta AI (CoVe)

Rangkaian Pengesahan Meta AI (CoVe) ialah satu lagi teknologi. Pendekatan ini mengurangkan halusinasi dalam model bahasa besar (LLM) dengan memecahkan semakan fakta kepada langkah yang boleh diurus, meningkatkan ketepatan tindak balas dan menyelaraskan dengan proses semakan fakta yang didorong oleh manusia.

Gambar

CoVe melibatkan penjanaan respons awal, merancang soalan pengesahan, menjawab soalan tersebut secara bebas dan menjana respons yang disahkan akhir. Pendekatan ini meningkatkan ketepatan model dengan ketara dengan mengesahkan dan membetulkan outputnya secara sistematik.

Ia meningkatkan prestasi dalam pelbagai tugas seperti soalan berasaskan senarai, menjawab soalan buku tertutup dan penjanaan teks bentuk panjang dengan mengurangkan halusinasi dan meningkatkan ketepatan fakta.

3. Graf Pengetahuan

RAG (Retrieval Enhanced Generation) tidak lagi terhad kepada pemadanan pangkalan data vektor Banyak teknologi RAG termaju diperkenalkan, yang meningkatkan kesan pengambilan semula dengan ketara.

Gambar

Sebagai contoh, menyepadukan graf pengetahuan (KG) ke dalam RAG. Dengan memanfaatkan data berstruktur dan saling berkaitan dalam graf pengetahuan, keupayaan penaakulan sistem RAG semasa boleh dipertingkatkan dengan banyak.

4.Raptor

Teknik lain ialah Raptor, yang menangani masalah yang merangkumi berbilang dokumen dengan mencipta tahap abstraksi yang lebih tinggi. Ia amat berguna apabila menjawab pertanyaan yang melibatkan pelbagai konsep dokumen.

Imej

Pendekatan seperti Raptor sesuai dengan model bahasa besar (LLM) konteks panjang kerana anda boleh membenamkan keseluruhan dokumen secara terus tanpa menggunting.

Kaedah ini mengurangkan fenomena halusinasi dengan menyepadukan mekanisme pengambilan luaran dengan model pengubah. Apabila pertanyaan diterima, Raptor mula-mula mendapatkan semula maklumat yang berkaitan dan disahkan daripada pangkalan pengetahuan luaran.

Data yang diambil ini kemudiannya dibenamkan ke dalam konteks model bersama-sama dengan pertanyaan asal. Dengan mendasarkan respons model pada fakta dan maklumat yang berkaitan, Raptor memastikan kandungan yang dihasilkan adalah tepat dan kontekstual.

5. Pengelakan Konformal

Kertas "Mengurangkan Fenomena Halusinasi Model Bahasa Besar melalui Penolakan Konformal" memperkenalkan kaedah untuk menentukan bila model harus mengelak daripada memberi respons dengan menggunakan kaedah ramalan konformal untuk mengurangkan halusinasi dalam model bahasa besar (. LLM).

Gambar

Dengan menggunakan ketekalan diri untuk menilai persamaan respons dan memanfaatkan ramalan konformal untuk jaminan yang ketat, pendekatan ini memastikan model hanya bertindak balas apabila ia yakin dengan ketepatannya.

Kaedah ini berkesan mengehadkan kejadian halusinasi sambil mengekalkan kadar pengeluaran yang seimbang, yang amat bermanfaat untuk tugasan yang memerlukan jawapan yang panjang. Ia meningkatkan kebolehpercayaan keluaran model dengan ketara dengan mengelakkan tindak balas yang salah atau tidak logik.

6.RAG mengurangkan halusinasi dalam output berstruktur

Baru-baru ini, ServiceNow mengurangkan halusinasi dalam output berstruktur melalui RAG, meningkatkan prestasi model bahasa besar (LLM) dan mencapai generalisasi di luar domain sambil meminimumkan penggunaan sumber.

Pictures

Teknik ini melibatkan sistem RAG yang mendapatkan semula objek JSON yang berkaitan daripada pangkalan pengetahuan luaran sebelum menjana teks. Ini memastikan bahawa proses penjanaan adalah berdasarkan data yang tepat dan relevan.

Gambar

Dengan memasukkan langkah pra-dapat semula ini, model kurang berkemungkinan menghasilkan maklumat palsu atau rekaan, sekali gus mengurangkan halusinasi. Selain itu, pendekatan ini membolehkan penggunaan model yang lebih kecil tanpa mengorbankan prestasi, menjadikannya cekap dan berkesan.

Untuk mengetahui lebih lanjut tentang AIGC, sila layari:

51CTO AI.x Community

https://www.51cto.com/aigc/

Atas ialah kandungan terperinci Selain RAG, terdapat lima cara untuk menghapuskan ilusi model besar. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!