ChatLogic: Rangka Kerja untuk Menambah LLM dengan Enjin Penaakulan Logik

Model bahasa besar (LLM) telah mempamerkan keupayaan yang luar biasa dalam menjana kandungan dan menyelesaikan masalah kompleks merentas pelbagai domain. Walau bagaimanapun, cabaran ketara berterusan dalam keupayaan mereka untuk melakukan penaakulan deduktif berbilang langkah. Penaakulan jenis ini memerlukan proses pemikiran yang koheren dan logik berbanding interaksi lanjutan, yang LLM semasa memerlukan bantuan kerana metodologi latihan mereka.

Model bahasa besar (LLM) telah menunjukkan keupayaan yang mengagumkan dalam penjanaan kandungan dan penyelesaian masalah merentas pelbagai domain. Walau bagaimanapun, cabaran ketara berterusan dalam keupayaan mereka untuk melakukan penaakulan deduktif berbilang langkah. Jenis penaakulan ini memerlukan proses pemikiran yang koheren dan logik berbanding interaksi lanjutan, yang LLM semasa memerlukan bantuan kerana metodologi latihan mereka.

Isu utama dengan LLM semasa ialah keupayaan terhad mereka dalam penaakulan deduktif berbilang langkah. Had ini berpunca daripada latihan mereka tentang ramalan token seterusnya, yang tidak melengkapkan mereka untuk menggunakan peraturan logik atau mengekalkan pemahaman kontekstual yang mendalam. Akibatnya, model ini sering memerlukan bantuan untuk menghasilkan respons yang koheren dan konsisten secara logik dalam tugasan yang menuntut penaakulan sedemikian. Kekurangan ini amat ketara dalam tugasan yang melibatkan urutan logik yang kompleks dan analisis kontekstual yang mendalam.

Kaedah sedia ada untuk meningkatkan keupayaan penaakulan LLM termasuk menyepadukan pangkalan data memori luaran dan menggunakan teknik seperti Latihan Model Rekursif (RMT). Contohnya, GPT-3.5 dan GPT-4 boleh melanjutkan had token melalui gesaan atau teknologi kejuruteraan seperti RMT. Walau bagaimanapun, pendekatan ini memperkenalkan cabaran mereka. Satu isu penting ialah potensi pembenaman berat sebelah daripada model perolehan semula ke dalam LLM, yang boleh menjejaskan ketepatan dan kestabilan model. Selain itu, pengendalian had jujukan panjang dalam dialog berbilang pusingan kekal sebagai halangan yang besar.

Penyelidik dari University of Auckland telah memperkenalkan ChatLogic, rangka kerja baru yang direka untuk menambah LLM dengan enjin penaakulan logik. Rangka kerja ini bertujuan untuk meningkatkan penaakulan deduktif berbilang langkah dengan menukar masalah logik kepada perwakilan simbolik yang boleh diproses oleh LLM. ChatLogic memanfaatkan pemahaman situasi LLM dan menyepadukan memori simbolik untuk meningkatkan keupayaan penaakulan mereka. Pendekatan inovatif ini disasarkan secara khusus untuk mengatasi batasan LLM semasa dalam tugas penaakulan pelbagai langkah.

ChatLogic menggunakan pendekatan unik yang dipanggil 'Mix-shot Chain of Thought' (CoT), yang menggabungkan pelbagai teknik kejuruteraan segera untuk membimbing LLM dengan cekap melalui langkah penaakulan yang logik. Kaedah ini mengubah pertanyaan bahasa semula jadi kepada simbol logik menggunakan pyDatalog, meningkatkan kestabilan dan ketepatan proses penaakulan. Rangka kerja ini termasuk modul pembetulan semantik dan sintaks yang memperhalusi program logik, meningkatkan aplikasi praktikalnya dengan ketara. Pembetulan dwi fasa ini memastikan bahawa kod yang dijana sejajar rapat dengan logik yang dimaksudkan, sekali gus meningkatkan prestasi keseluruhan LLM dalam tugas penaakulan.

Hasil eksperimen menunjukkan bahawa LLM disepadukan dengan ChatLogic mengatasi prestasi model asas dalam tugas penaakulan berbilang langkah dengan ketara. Sebagai contoh, pada set data PARARULE-Plus, GPT-3.5 dengan ChatLogic mencapai ketepatan 0.5275, berbanding 0.344 untuk model asas. Begitu juga, GPT-4 dengan ChatLogic menunjukkan ketepatan 0.73, manakala model asas hanya mencapai 0.555. Penambahbaikan ini amat ketara dalam senario berketepatan tinggi, di mana ketepatan dan kebolehpercayaan penaakulan adalah kritikal. ChatLogic mengurangkan kehilangan maklumat dengan berkesan, menangani had jujukan panjang dalam mengguna pakai LLM untuk tugas penaakulan berbilang langkah.

Analisis lanjut set data CONCEPTRULES juga menyerlahkan keberkesanan ChatLogic. Untuk versi ringkas CONCEPTRULES V1, GPT-3.5 dengan ChatLogic mencapai ketepatan 0.69, berbanding 0.57 untuk model asas. Untuk GPT-4, ketepatan dengan ChatLogic ialah 0.96, menunjukkan sedikit peningkatan berbanding model asas 0.95. Keputusan ini menggariskan peranan kritikal enjin penaakulan logik dalam meningkatkan keupayaan LLM merentas tugasan dan set data yang berbeza.

Sebagai kesimpulan, ChatLogic membentangkan penyelesaian yang mantap kepada had penaakulan pelbagai langkah LLM semasa. Dengan menyepadukan enjin penaakulan logik dan menggunakan teknik kejuruteraan segera yang inovatif, para penyelidik telah meningkatkan ketepatan dan kebolehpercayaan LLM dengan ketara dalam tugas penaakulan yang kompleks. Kemajuan ini mempunyai potensi yang besar untuk pelbagai aplikasi, termasuk perkhidmatan pelanggan, penjagaan kesihatan dan pendidikan, di mana tindak balas yang tepat dan logik adalah penting. Keupayaan rangka kerja untuk meningkatkan prestasi penaakulan sambil mengekalkan ketepatan yang tinggi menjadikannya tambahan yang berharga kepada kecerdasan buatan dan pemprosesan bahasa semula jadi.

Atas ialah kandungan terperinci ChatLogic: Rangka Kerja untuk Menambah LLM dengan Enjin Penaakulan Logik. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!