Tajuk Baharu: Mendedahkan Mengapa Model Besar Lambat: Arah Baharu untuk Algoritma Minda Manusia

Pengkaji AI sering mengabaikan gerak hati manusia, tetapi sebenarnya kita sendiri tidak memahami sepenuhnya kehalusannya. Baru-baru ini, pasukan penyelidik dari Virginia Tech dan Microsoft mencadangkan Algoritma Pemikiran (AoT) yang menggabungkan keupayaan intuitif dengan kaedah algoritma untuk bukan sahaja menjamin prestasi LLM tetapi juga sangat menjimatkan kos

Model Bahasa Besar Perkembangan baru-baru ini sangat pesat. , dan ia telah menunjukkan kebolehan luar biasa yang luar biasa dalam menyelesaikan masalah umum, menjana kod dan mengikut arahan

Walaupun model awal bergantung pada strategi jawapan langsung, penyelidikan semasa telah bergerak ke arah Laluan penaakulan linear, yang dilakukan dengan menguraikan masalah kepada subtugas untuk temui penyelesaian, atau menggunakan mekanisme luaran untuk menukar penjanaan token dengan mengubah suai konteks.

Sama seperti kognisi manusia, strategi LLM awal seolah-olah meniru Sistem 1 serta-merta (tindak balas pantas), dicirikan oleh membuat keputusan yang impulsif. Sebaliknya, kaedah yang lebih baharu seperti Chain of Thoughts (CoT) dan least-to-most prompting (L2M) mencerminkan sifat introspektif Sistem 2 (pemikiran perlahan). Perlu diingat bahawa keupayaan penaakulan aritmetik LLM boleh dipertingkatkan dengan menyepadukan langkah-langkah penaakulan pertengahan.

Namun, jika tugas itu memerlukan perancangan yang lebih mendalam dan penerokaan mental yang lebih luas, maka batasan kaedah ini menjadi jelas. Walaupun CoT yang menggabungkan ketekalan diri (CoT-SC) boleh menggunakan berbilang output LLM untuk mencapai keputusan konsensus, kekurangan penilaian terperinci boleh membawa model ke arah yang salah. The Tree of Thinking (ToT) yang muncul pada tahun 2023 adalah penyelesaian yang perlu diberi perhatian. Satu LLM digunakan untuk menjana idea, dan LLM lain digunakan untuk menilai kebaikan idea tersebut, diikuti dengan kitaran "jeda-nilai-teruskan". Proses berulang berdasarkan carian pokok ini jelas berkesan, terutamanya untuk tugasan dengan kesinambungan yang panjang. Para penyelidik percaya perkembangan ini ialah penggunaan alat luaran untuk meningkatkan LLM, sama seperti cara manusia menggunakan alat untuk memintas batasan memori kerja mereka sendiri.

Sebaliknya, kaedah LLM yang dipertingkatkan juga mempunyai beberapa kelemahan. Masalah yang jelas ialah bilangan pertanyaan dan keperluan pengiraan akan meningkat dengan ketara. Setiap pertanyaan kepada API LLM dalam talian seperti GPT-4 menimbulkan overhed yang ketara dan mengakibatkan peningkatan kependaman, yang amat penting untuk aplikasi masa nyata. Kependaman terkumpul pertanyaan ini boleh mengurangkan kecekapan keseluruhan senario. Dari segi infrastruktur, interaksi berterusan memberi tekanan pada sistem, yang berpotensi mengehadkan lebar jalur dan mengurangkan ketersediaan model. Di samping itu, kesan terhadap alam sekitar tidak boleh diabaikan. Pertanyaan yang kerap akan meningkatkan penggunaan tenaga pusat data yang sudah intensif tenaga dan seterusnya meningkatkan jejak karbon

Matlamat pengoptimuman penyelidik adalah untuk mengurangkan kos semasa dengan ketara manakala mengekalkan prestasi yang mencukupi. Bilangan pertanyaan yang digunakan oleh kaedah inferens berbilang pertanyaan. Pengoptimuman sedemikian boleh membolehkan model mengendalikan tugas yang memerlukan penggunaan pengetahuan dunia yang mahir, dan membimbing orang ramai menggunakan sumber AI dengan lebih bertanggungjawab dan cekap

Dengan memikirkan tentang evolusi LLM daripada Sistem 1 kepada Sistem 2, kita dapat melihat satu kunci Faktor yang muncul: Algoritma. Algoritma adalah berkaedah dan menyediakan cara untuk orang ramai meneroka ruang masalah, merangka strategi dan membina penyelesaian. Walaupun banyak kesusasteraan arus perdana menganggap algoritma sebagai alat luaran LLM, memandangkan keupayaan pengulangan generatif yang wujud dalam LLM, bolehkah kita membimbing logik lelaran ini dan menghayati algoritma ke dalam LLM?

Sebuah pasukan penyelidik dari Virginia Tech dan Microsoft telah mengumpulkan kecanggihan penaakulan manusia dan ketepatan kaedah kaedah algoritma, bertujuan untuk meningkatkan keupayaan penaakulan dalam LLM dengan menggabungkan dua aspek

Menurut penyelidikan sedia ada, manusia secara naluriah menggunakan pengalaman lalu apabila menyelesaikan masalah yang kompleks untuk memastikan mereka berfikir secara holistik dan bukannya menumpukan pada satu perincian secara sempit. Julat penjanaan LLM hanya dihadkan oleh had tokennya, dan nampaknya ditakdirkan untuk menembusi halangan ingatan kerja manusia

Diilhamkan oleh pemerhatian ini, penyelidik mula meneroka sama ada LLM boleh digunakan untuk mencapai cara hierarki yang serupa pemikiran. Dengan merujuk kepada langkah perantaraan sebelumnya untuk menolak pilihan yang tidak boleh dilaksanakan - semuanya dilakukan dalam kitaran penjanaan LLM. Manusia pandai dalam gerak hati, manakala algoritma pandai dalam penerokaan yang teratur dan sistematik. Teknologi semasa seperti CoT cenderung untuk mengelakkan potensi sinergi ini dan terlalu fokus pada ketepatan LLM di tapak. Dengan memanfaatkan keupayaan rekursif LLM, para penyelidik membina pendekatan hibrid manusia-algoritma. Pendekatan ini dicapai melalui penggunaan contoh algoritma yang menangkap intipati penerokaan - daripada calon awal kepada penyelesaian yang terbukti

Berdasarkan pemerhatian ini, penyelidik mencadangkan Algoritma Pemikiran (AoT).

Kandungan yang perlu ditulis semula ialah: Kertas: https://arxiv.org/pdf/2308.10379.pdf

rom

kaedah yang lebih luas ini

dijangka akan melahirkan paradigma baharu pembelajaran kontekstual. Daripada menggunakan model pembelajaran tradisional yang diselia iaitu [soalan, jawapan] atau [soalan, langkah-langkah seterusnya untuk mendapatkan jawapan], pendekatan baharu ini menggunakan model baharu [soalan, proses carian, jawapan]. Sememangnya, apabila LLM diarahkan untuk menggunakan algoritma, kami biasanya mengharapkan LLM hanya meniru pemikiran berulang algoritma tersebut. Walau bagaimanapun, apa yang menarik ialah LLM mempunyai keupayaan untuk menyuntik "intuisi" sendiri, malah menjadikan cariannya lebih cekap daripada algoritma itu sendiri.

Algoritma Pemikiran

Para penyelidik mengatakan bahawa teras strategi penyelidikan mereka ialah pengiktirafan terhadap kelemahan utama paradigma pembelajaran kontekstual semasa. Walaupun CoT boleh meningkatkan ketekalan sambungan pemikiran, masalah kadangkala berlaku, membawa kepada langkah perantaraan yang salah

Untuk menggambarkan fenomena ini, penyelidik mereka satu eksperimen. Apabila menanyakan teks-davinci-003 dengan tugasan aritmetik (seperti 11 − 2 =), penyelidik akan menambah berbilang persamaan kontekstual yang akan menghasilkan output yang sama (seperti 15 − 5 = 10, 8 + 2 = 10).

Selepas penyiasatan, didapati ketepatan keputusan menjunam, menunjukkan bahawa hanya memberikan penaakulan yang betul dalam konteks secara tidak sengaja boleh membahayakan kemahiran aritmetik asas LLM

Untuk mengurangkan kecondongan ini. mungkin penyelesaian yang berdaya maju, tetapi ini mungkin sedikit mengubah pengedaran output. Hanya menambah beberapa percubaan yang tidak berjaya (seperti carian rawak) mungkin secara tidak sengaja menggalakkan model untuk mencuba lagi tanpa benar-benar menyelesaikan masalah. Memahami sifat sebenar tingkah laku algoritma (di mana carian gagal dan pemulihan berikutnya adalah penting, serta belajar daripada percubaan ini), cara penyelidik menggabungkan contoh kontekstual adalah dengan mengikuti corak algoritma carian, terutamanya carian mendalam-pertama (DFS) dan Breadth First Search (BFS). Rajah 1 memberi contoh.

Fokus utama kertas ini ialah kelas tugasan yang serupa dengan masalah pencarian pokok

Untuk jenis tugasan ini, adalah perlu untuk memecahkan masalah utama dan membina penyelesaian yang boleh dilaksanakan untuk setiap bahagian. Kami kemudiannya perlu memutuskan sama ada untuk menerima pakai atau meninggalkan laluan tertentu, dan mungkin memilih untuk menilai semula laluan yang berpotensi lebih besar

Pendekatan penyelidik adalah untuk memanfaatkan keupayaan lelaran LLM untuk menyelesaikan dalam soalan pertanyaan imbasan generatif bersatu untuk setiap subset. Dengan mengehadkan kepada hanya satu atau dua interaksi LLM, pendekatan ini secara semula jadi boleh menyepadukan cerapan daripada calon kontekstual terdahulu dan menyelesaikan masalah kompleks yang memerlukan penerokaan mendalam tentang domain penyelesaian. Para penyelidik juga memberikan pandangan tentang saiz minda dan jenis contoh kontekstual yang perlu diberikan kepada LLM untuk meningkatkan kecekapan token. Komponen utama algoritma carian pokok dan perwakilannya dalam rangka kerja baharu akan diperkenalkan di bawah

1. Uraikan kepada sub-masalah.

Memandangkan masalah, membina pepohon carian yang menerangkan laluan penaakulan yang boleh dilaksanakan sudah menjadi tugas yang sukar walaupun tanpa melihat aspek penyelesaian masalah yang sebenar. Sebarang penguraian mesti mempertimbangkan bukan sahaja perkaitan antara subtugas, tetapi juga kemudahan menyelesaikan setiap masalah.

Ambil penambahan berbilang digit yang mudah sebagai contoh: Walaupun komputer adalah cekap untuk menukar nilai berangka kepada nombor binari, manusia biasanya mendapati nombor perpuluhan lebih intuitif. Tambahan pula, walaupun submasalah adalah sama, kaedah pelaksanaan mungkin berbeza. Intuisi boleh mencari jalan pintas antara langkah kepada penyelesaian, dan tanpa gerak hati, langkah yang lebih terperinci mungkin diperlukan. 🎜🎜

Untuk mencipta gesaan yang betul (iaitu contoh algoritma kontekstual), kehalusan ini sangat penting dan ia menentukan bilangan minimum token yang diperlukan untuk LLM mencapai prestasi yang boleh dipercayai. Ini bukan sahaja memenuhi kekangan LLM pada konteks, tetapi juga penting untuk keupayaan LLM untuk menyelesaikan masalah yang bergema dengan konteksnya menggunakan jumlah token yang sama.

2. Cadangkan penyelesaian kepada sub-soalan. Salah satu kaedah arus perdana semasa melibatkan pensampelan terus kebarangkalian keluaran token LLM. Walaupun kaedah ini berkesan untuk jawapan sekali sahaja (dengan had tertentu), kaedah ini juga tidak dapat menangani beberapa senario, seperti apabila urutan sampel perlu disepadukan ke dalam gesaan berikutnya atau dinilai dalam gesaan berikutnya. Untuk meminimumkan pertanyaan model, penyelidik menggunakan proses penciptaan penyelesaian tanpa henti. Iaitu, secara langsung dan berterusan menjana penyelesaian kepada submasalah utama tanpa sebarang jeda generasi.

Kandungan yang ditulis semula: Kaedah ini mempunyai banyak kelebihan. Pertama, semua jawapan yang dijana adalah dalam konteks kongsi yang sama, menghapuskan keperluan untuk menjana pertanyaan model yang berasingan untuk setiap jawapan untuk penilaian. Kedua, walaupun ia mungkin kelihatan berlawanan dengan intuisi pada mulanya, penanda terpencil atau kebarangkalian kumpulan penanda mungkin tidak selalu membawa kepada pilihan yang bermakna. Rajah 4 menunjukkan skema mudah

3. Seperti yang dinyatakan di atas, teknik sedia ada bergantung pada pembayang tambahan untuk mengenal pasti potensi nod pokok untuk membantu membuat keputusan tentang arah penerokaan. Pemerhatian kami mencadangkan bahawa LLM sememangnya cenderung untuk mengutamakan calon yang menjanjikan jika mereka boleh dirangkumkan dalam contoh kontekstual. Ini mengurangkan keperluan untuk kejuruteraan segera yang kompleks dan membolehkan penyepaduan heuristik yang canggih, sama ada ia adalah intuitif atau didorong oleh pengetahuan. Begitu juga, kaedah baharu tidak termasuk gesaan terputus-putus, yang membolehkan penilaian segera kebolehlaksanaan calon dalam hasil yang dijana yang sama.

4. Undur ke nod yang lebih baik. Memutuskan nod yang akan diterokai seterusnya (termasuk menjejak ke belakang ke nod sebelumnya) pada asasnya bergantung pada algoritma carian pepohon yang dipilih. Walaupun penyelidikan terdahulu telah menggunakan kaedah luaran seperti mekanisme pengekodan untuk proses carian, ini akan mengehadkan daya tarikannya yang lebih luas dan memerlukan penyesuaian tambahan. Reka bentuk baru yang dicadangkan dalam kertas ini terutamanya menggunakan kaedah DFS yang ditambah dengan pemangkasan. Matlamatnya adalah untuk mengekalkan kedekatan antara nod anak dengan nod induk yang sama, sekali gus menggalakkan LLM mengutamakan ciri tempatan berbanding ciri jauh. Selain itu, penyelidik juga mencadangkan penunjuk prestasi kaedah AoT berasaskan BFS. Para penyelidik mengatakan bahawa keperluan untuk mekanisme penyesuaian tambahan boleh dihapuskan dengan memanfaatkan keupayaan sedia ada model untuk mendapatkan cerapan daripada contoh kontekstual.

Eksperimen

Para penyelidik menjalankan eksperimen ke atas permainan perkataan mini 24 mata dan 5x5. Keputusan menunjukkan bahawa kaedah AoT mengatasi kaedah segera tunggal (seperti kaedah standard, CoT, CoT-SC) dalam prestasi, dan juga setanding dengan kaedah yang menggunakan mekanisme luaran (seperti ToT)

Ia boleh dilihat dengan jelas daripada Jadual 1 Didapati kaedah carian pokok menggunakan LLM adalah jauh lebih baik daripada kaedah reka bentuk segera standard yang menggabungkan CoT/CoT-SC

Dalam tugasan pengisian perkataan mini, Jadual 3 menunjukkan keberkesanan AoT dan kadar kejayaan pengisian perkataannya Melangkaui kaedah sebelumnya menggunakan pelbagai teknik dorongan

Walau bagaimanapun, ia lebih teruk daripada ToT. Pemerhatian penting ialah volum pertanyaan yang digunakan oleh ToT adalah besar, melebihi AoT sebanyak lebih daripada seratus kali. Faktor lain yang menjadikan AoT lebih rendah daripada ToT ialah keupayaan menjejak ke belakang yang wujud dalam contoh algoritma tidak diaktifkan sepenuhnya. Jika keupayaan ini boleh dibuka sepenuhnya, ia akan menghasilkan fasa penjanaan yang jauh lebih panjang. Sebaliknya, ToT mempunyai kelebihan menggunakan memori luaran untuk menjejak ke belakang.

Bincangkan

Bolehkah AoT mencapai kejayaan berdasarkan meniru DFS?

Seperti yang ditunjukkan dalam Rajah 5, AoT menggunakan lebih sedikit nod secara keseluruhan daripada versi DFS. DFS menggunakan strategi bersatu dalam memilih subpokok untuk diterokai, manakala LLM AoT menyepadukan heuristik yang wujud. Penguatan algoritma asas ini mencerminkan kelebihan keupayaan penaakulan rekursif LLM

Bagaimanakah pilihan algoritma mempengaruhi prestasi AoT?

Ditemui dalam eksperimen, Jadual 5 menunjukkan bahawa ketiga-tiga varian AoT lebih unggul daripada CoT untuk satu pertanyaan

Keputusan ini seperti yang dijangkakan kerana ia mencari tanpa mengira algoritma Dan menyemak semula kemungkinan ralat - sama ada melalui percubaan rawak dalam varian carian rawak, atau melalui penjejakan ke belakang dalam konfigurasi carian mendalam-dahulu (DFS) atau carian luas-dahulu (BFS). Perlu diingat bahawa kecekapan carian berstruktur, versi DFS AoT dan versi BFS AoT, kedua-duanya lebih baik daripada versi rawak AoT, yang menyerlahkan kelebihan cerapan algoritma dalam penemuan penyelesaian. Walau bagaimanapun, versi BFS AoT ketinggalan daripada versi DFS AoT. Dengan menganalisis lebih lanjut kesilapan versi BFS AoT, penyelidik mendapati bahawa berbanding dengan versi DFS AoT, versi BFS AoT lebih sukar untuk mengenal pasti operasi terbaik

Apabila melaraskan tingkah laku AoT, kita perlu untuk memberi perhatian kepada contoh algoritma Bilangan langkah carian

ditunjukkan dalam Rajah 6. Kesan daripada jumlah langkah carian ditunjukkan dalam Rajah 6. Antaranya, AoT (panjang) dan AoT (pendek) masing-masing mewakili versi yang lebih panjang dan lebih pendek berbanding dengan hasil asal AoT yang dijana

Hasil penyelidikan menunjukkan bahawa langkah carian akan menghasilkan bias tersirat dalam kelajuan carian LLM . Adalah penting untuk ambil perhatian bahawa walaupun mengambil langkah yang salah, adalah penting untuk menekankan penerokaan arah yang berpotensi

Atas ialah kandungan terperinci Tajuk Baharu: Mendedahkan Mengapa Model Besar Lambat: Arah Baharu untuk Algoritma Minda Manusia. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!