cari
RumahPeranti teknologiAIDengan asas teori, kami boleh menjalankan pengoptimuman yang mendalam.

Mengapa transformer berprestasi begitu baik? Dari manakah datangnya keupayaan Pembelajaran Dalam Konteks yang dibawanya kepada banyak model bahasa besar? Dalam bidang kecerdasan buatan, transformer telah menjadi model dominan dalam pembelajaran mendalam, tetapi asas teori untuk prestasi cemerlangnya tidak dikaji dengan secukupnya.

Baru-baru ini, penyelidikan baharu daripada penyelidik di Google AI, ETH Zurich dan Google DeepMind telah cuba mendedahkan jawapan kepada misteri itu. Dalam penyelidikan baharu, mereka merekayasa balik pengubah dan menemui beberapa kaedah pengoptimuman. Kertas "Mengungkap algoritma pengoptimuman mesa dalam transformer": Dengan asas teori, kami boleh menjalankan pengoptimuman yang mendalam.
Pautan kertas: https://arxiv.org/abs/2309.05858

The pengarang membuktikan bahawa meminimumkan kerugian autoregressive umum akan berlaku di pas di hadapan pengubah Algoritma pengoptimuman berasaskan kecerunan tambahan berjalan dalam . Fenomena ini baru-baru ini dipanggil "pengoptimuman mesa." Tambahan pula, penyelidik mendapati bahawa algoritma pengoptimuman mesa yang terhasil mempamerkan keupayaan pembelajaran pukulan kecil kontekstual, bebas daripada saiz model. Oleh itu, keputusan baharu melengkapkan prinsip pembelajaran pukulan kecil yang telah muncul sebelum ini dalam model bahasa besar.

Para penyelidik percaya bahawa kejayaan Transformers adalah berdasarkan bias seni binanya dalam melaksanakan algoritma pengoptimuman mesa dalam hantaran hadapan: (i) mentakrifkan matlamat pembelajaran dalaman, dan (ii) mengoptimumkannya.

Dengan asas teori, kami boleh menjalankan pengoptimuman yang mendalam.

                                                                                                                                                                                                                                                                                                                                                                                                                                    Sebagai urutan input s_1, . . , s_t diproses ke langkah masa t, Transformer (i) mencipta set latihan dalaman yang terdiri daripada pasangan persatuan sasaran input, (ii) mentakrifkan fungsi objektif dalaman melalui set data hasil, yang digunakan untuk mengukur prestasi model dalaman menggunakan pemberat W, (iii) Optimumkan objektif ini dan gunakan model yang dipelajari untuk menjana ramalan masa depan . . elemen urutan seterusnya. Dengan asas teori, kami boleh menjalankan pengoptimuman yang mendalam.
Transformer kejuruteraan terbalik secara eksperimen dilatih pada tugas pemodelan jujukan mudah dan menemui bukti kukuh bahawa hantaran hadapan mereka melaksanakan algoritma dua langkah: (i) lapisan perhatian kendiri awal melalui penanda pengumpulan dan salinan membina set data latihan dalaman, jadi set data latihan dalaman dibina secara tersirat. Tentukan fungsi objektif dalaman dan (ii) optimumkan objektif ini pada tahap yang lebih mendalam untuk menjana ramalan.

Sama seperti LLM, eksperimen menunjukkan bahawa model latihan autoregresif mudah juga boleh menjadi pelajar konteks, dan pelarasan segera adalah penting untuk meningkatkan pembelajaran konteks LLM dan juga boleh meningkatkan prestasi dalam persekitaran tertentu.

Diinspirasikan oleh penemuan bahawa lapisan perhatian cuba mengoptimumkan fungsi objektif dalaman secara tersirat, pengarang memperkenalkan lapisan mesa, jenis lapisan perhatian baharu yang boleh menyelesaikan masalah pengoptimuman kuasa dua terkecil dan bukannya hanya mengambil satu langkah kecerunan. untuk mencapai optimum. Percubaan menunjukkan bahawa satu lapisan mesa mengatasi Transformer perhatian kendiri linear dalam dan softmax pada tugas berjujukan mudah sambil memberikan lebih kebolehtafsiran.
  • Selepas eksperimen pemodelan bahasa awal, didapati bahawa menggantikan lapisan perhatian kendiri standard dengan lapisan mesa mencapai hasil yang menjanjikan, membuktikan bahawa lapisan ini mempunyai keupayaan pembelajaran kontekstual yang kuat.
  • Berdasarkan kerja baru-baru ini yang menunjukkan bahawa transformer yang dilatih secara eksplisit untuk menyelesaikan tugasan kecil dalam konteks boleh melaksanakan algoritma keturunan kecerunan (GD). Di sini, pengarang menunjukkan bahawa keputusan ini digeneralisasikan kepada pemodelan jujukan autoregresif-pendekatan tipikal untuk melatih LLM.

Dengan asas teori, kami boleh menjalankan pengoptimuman yang mendalam.

Analisis transformer pertama yang dilatih pada dinamik linear mudah, di mana setiap jujukan dijana oleh W* yang berbeza - untuk mengelakkan hafalan jujukan silang. Dalam persediaan mudah ini, pengarang menunjukkan pengubah yang mencipta set data mesa dan kemudian menggunakan GD praproses untuk mengoptimumkan objektif mesa.
  • Kajian ini melatih pengubah dalam pada struktur token yang mengagregat unsur jujukan bersebelahan. Menariknya, prapemprosesan mudah ini menghasilkan matriks berat yang sangat jarang (kurang daripada 1% daripada pemberat adalah bukan sifar), menghasilkan algoritma kejuruteraan terbalik.

    Dengan asas teori, kami boleh menjalankan pengoptimuman yang mendalam.

    Untuk perhatian kendiri linear satu lapisan, berat sepadan dengan satu langkah GD. Untuk transformer dalam, kebolehtafsiran menjadi sukar. Kajian ini bergantung pada probing linear dan mengkaji sama ada pengaktifan tersembunyi meramalkan sasaran autoregresif atau input praproses.

    Menariknya, kebolehramalan kedua-dua kaedah pengesanan secara beransur-ansur bertambah baik apabila kedalaman rangkaian meningkat. Dapatan ini menunjukkan bahawa GD praproses tersembunyi dalam model. Rajah 2: Kejuruteraan songsang lapisan perhatian diri linear terlatih.

    Dengan asas teori, kami boleh menjalankan pengoptimuman yang mendalam.

    Kajian mendapati bahawa lapisan latihan boleh dipasang dengan sempurna apabila semua darjah kebebasan digunakan dalam pembinaan, termasuk bukan sahaja kadar pembelajaran yang dipelajari η, tetapi juga satu set pemberat awal yang dipelajari W_0. Yang penting, seperti yang ditunjukkan dalam Rajah 2, algoritma satu langkah yang dipelajari masih berprestasi jauh lebih baik daripada satu lapisan mesa.

    Kita dapat perhatikan bahawa di bawah tetapan berat yang mudah, adalah mudah untuk mencari melalui pengoptimuman asas bahawa lapisan ini boleh menyelesaikan tugas yang dikaji di sini secara optimum. Keputusan ini menunjukkan kelebihan bias induktif berkod keras yang memihak kepada pengoptimuman mesa.

    Dengan pandangan teori ke dalam sarung berbilang lapisan, mula-mula analisa linear dalam dan softmax hanya memberi perhatian kepada Transformer. Pengarang memformat input mengikut struktur 4 saluran,
    , yang sepadan dengan memilih W_0 = 0.

    Seperti model satu lapisan, penulis melihat struktur yang jelas dalam berat model terlatih. Sebagai analisis kejuruteraan terbalik yang pertama, kajian ini mengeksploitasi struktur ini dan membina algoritma (RevAlg-d, dengan d mewakili bilangan lapisan) yang mengandungi 16 parameter setiap pengepala lapisan (bukannya 3200). Penulis mendapati bahawa ungkapan termampat tetapi kompleks ini boleh menggambarkan model terlatih. Khususnya, ia membenarkan interpolasi antara Transformer sebenar dan pemberat RevAlg-d dalam cara yang hampir tanpa kerugian.
    Dengan asas teori, kami boleh menjalankan pengoptimuman yang mendalam.

    Walaupun ungkapan RevAlg-d menerangkan Transformer berbilang lapisan terlatih dengan sebilangan kecil parameter percuma, adalah sukar untuk mentafsirkannya sebagai algoritma pengoptimuman mesa. Oleh itu, penulis menggunakan analisis probing regresi linear (Alain & Bengio, 2017; Akyürek et al., 2023) untuk mencari ciri-ciri algoritma pengoptimuman mesa yang dihipotesiskan.

    Pada Transformer perhatian kendiri linear dalam yang ditunjukkan dalam Rajah 3, kita dapat melihat bahawa kedua-dua probe boleh dinyahkod secara linear, dan prestasi penyahkodan meningkat dengan peningkatan panjang jujukan dan kedalaman rangkaian. Oleh itu, pengoptimuman asas menemui algoritma hibrid yang menuruni lapisan demi lapisan pada Lt (W) objektif mesa asal sambil menambah baik nombor keadaan masalah pengoptimuman mesa. Ini mengakibatkan penurunan pesat dalam mesa-objektif Lt (W). Ia juga boleh dilihat bahawa prestasi meningkat dengan ketara dengan peningkatan kedalaman.

    Oleh itu, kemerosotan pesat autoregresif mesa-objektif Lt (W) dicapai melalui pengoptimuman mesa secara berperingkat (rentas lapisan) pada data praproses yang lebih baik.建 Rajah 3: Latihan pengubah berbilang lapisan untuk input binaan kejuruteraan songsang.
    Ini menunjukkan bahawa jika transformer dilatih pada token yang dibina, ia akan meramalkan dengan pengoptimuman mesa. Menariknya, apabila unsur jujukan diberikan secara langsung, pengubah akan membina token dengan sendirinya dengan mengumpulkan elemen, yang dipanggil oleh pasukan penyelidik "membuat dataset mesa".
    Kesimpulan

    Dengan asas teori, kami boleh menjalankan pengoptimuman yang mendalam.

    Kajian ini menunjukkan bahawa model Transformer mampu membangunkan algoritma inferens berasaskan kecerunan apabila dilatih mengenai tugas ramalan jujukan di bawah objektif autoregresif standard. Oleh itu, hasil terkini yang diperoleh dalam tetapan meta-pembelajaran berbilang tugas juga boleh dipindahkan ke tetapan latihan LLM penyeliaan kendiri tradisional.

    Selain itu, kajian mendapati bahawa algoritma inferens autoregresif yang dipelajari boleh digunakan semula untuk menyelesaikan tugas pembelajaran kontekstual yang diselia tanpa memerlukan latihan semula, menerangkan hasil dalam satu rangka kerja bersatu.

    Dengan asas teori, kami boleh menjalankan pengoptimuman yang mendalam.

    Jadi, apakah kaitan ini dengan pembelajaran dalam konteks? Kajian ini percaya bahawa selepas melatih pengubah pada tugas jujukan autoregresif, ia mencapai pengoptimuman mesa yang sesuai dan oleh itu boleh melakukan pembelajaran konteks beberapa pukulan tanpa sebarang penalaan halus.

    Dengan asas teori, kami boleh menjalankan pengoptimuman yang mendalam.

    Kajian ini mengandaikan bahawa pengoptimuman mesa juga wujud untuk LLM, dengan itu meningkatkan keupayaan pembelajaran konteksnya. Menariknya, kajian itu juga mendapati bahawa menyesuaikan gesaan secara berkesan untuk LLM juga boleh membawa kepada peningkatan yang ketara dalam keupayaan pembelajaran kontekstual.

    Dengan asas teori, kami boleh menjalankan pengoptimuman yang mendalam.

    Dengan asas teori, kami boleh menjalankan pengoptimuman yang mendalam.

    Pembaca yang berminat boleh membaca teks asal kertas kerja untuk mengetahui lebih lanjut tentang kandungan penyelidikan.

    Kandungan rujukan:
    https://www.reddit.com/r/MachineLearning/comments/16jc2su/r_uncovering/mesathms_optimization
    https://twitter.com/ oswaldjoh/status/1701873029100241241

Atas ialah kandungan terperinci Dengan asas teori, kami boleh menjalankan pengoptimuman yang mendalam.. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan
Artikel ini dikembalikan pada:机器之心. Jika ada pelanggaran, sila hubungi admin@php.cn Padam
Membaca Indeks AI 2025: Adakah AI rakan, musuh, atau juruterbang bersama?Membaca Indeks AI 2025: Adakah AI rakan, musuh, atau juruterbang bersama?Apr 11, 2025 pm 12:13 PM

Laporan Indeks Perisikan Buatan 2025 yang dikeluarkan oleh Stanford University Institute for Manusia Berorientasikan Kecerdasan Buatan memberikan gambaran yang baik tentang revolusi kecerdasan buatan yang berterusan. Mari kita menafsirkannya dalam empat konsep mudah: kognisi (memahami apa yang sedang berlaku), penghargaan (melihat faedah), penerimaan (cabaran muka), dan tanggungjawab (cari tanggungjawab kita). Kognisi: Kecerdasan buatan di mana -mana dan berkembang pesat Kita perlu menyedari betapa cepatnya kecerdasan buatan sedang berkembang dan menyebarkan. Sistem kecerdasan buatan sentiasa bertambah baik, mencapai hasil yang sangat baik dalam ujian matematik dan pemikiran kompleks, dan hanya setahun yang lalu mereka gagal dalam ujian ini. Bayangkan AI menyelesaikan masalah pengekodan kompleks atau masalah saintifik peringkat siswazah-sejak tahun 2023

Bermula dengan Meta Llama 3.2 - Analytics VidhyaBermula dengan Meta Llama 3.2 - Analytics VidhyaApr 11, 2025 pm 12:04 PM

Meta's Llama 3.2: Lompat ke hadapan dalam Multimodal dan Mobile AI META baru -baru ini melancarkan Llama 3.2, kemajuan yang ketara dalam AI yang memaparkan keupayaan penglihatan yang kuat dan model teks ringan yang dioptimumkan untuk peranti mudah alih. Membina kejayaan o

AV Bytes: Meta ' s llama 3.2, Google's Gemini 1.5, dan banyak lagiAV Bytes: Meta ' s llama 3.2, Google's Gemini 1.5, dan banyak lagiApr 11, 2025 pm 12:01 PM

Landskap AI minggu ini: Badai kemajuan, pertimbangan etika, dan perdebatan pengawalseliaan. Pemain utama seperti Openai, Google, Meta, dan Microsoft telah melepaskan kemas kini, dari model baru yang terobosan ke peralihan penting di LE

Kos manusia bercakap dengan mesin: Bolehkah chatbot benar -benar peduli?Kos manusia bercakap dengan mesin: Bolehkah chatbot benar -benar peduli?Apr 11, 2025 pm 12:00 PM

Ilusi yang menghiburkan sambungan: Adakah kita benar -benar berkembang dalam hubungan kita dengan AI? Soalan ini mencabar nada optimis Simposium MIT Media Lab "yang memajukan AI (AHA)". Manakala acara itu mempamerkan cutting-EDG

Memahami Perpustakaan Scipy di PythonMemahami Perpustakaan Scipy di PythonApr 11, 2025 am 11:57 AM

Pengenalan Bayangkan anda seorang saintis atau jurutera menangani masalah kompleks - persamaan pembezaan, cabaran pengoptimuman, atau analisis Fourier. Kemudahan penggunaan dan kemampuan grafik Python menarik, tetapi tugas -tugas ini menuntut alat yang berkuasa

3 Kaedah untuk menjalankan Llama 3.2 - Analytics Vidhya3 Kaedah untuk menjalankan Llama 3.2 - Analytics VidhyaApr 11, 2025 am 11:56 AM

Meta's Llama 3.2: Powerhouse AI Multimodal Model multimodal terbaru Meta, Llama 3.2, mewakili kemajuan yang ketara dalam AI, yang membanggakan pemahaman bahasa yang dipertingkatkan, ketepatan yang lebih baik, dan keupayaan penjanaan teks yang unggul. Keupayaannya t

Mengotomatisasi Pemeriksaan Kualiti Data dengan DagsterMengotomatisasi Pemeriksaan Kualiti Data dengan DagsterApr 11, 2025 am 11:44 AM

Jaminan Kualiti Data: Pemeriksaan Automatik dengan Dagster dan Harapan Hebat Mengekalkan kualiti data yang tinggi adalah penting untuk perniagaan yang didorong data. Apabila jumlah data dan sumber meningkat, kawalan kualiti manual menjadi tidak cekap dan terdedah kepada kesilapan.

Adakah kerangka utama mempunyai peranan dalam era AI?Adakah kerangka utama mempunyai peranan dalam era AI?Apr 11, 2025 am 11:42 AM

Main Frames: Wira Unsung Revolusi AI Walaupun pelayan cemerlang dalam aplikasi tujuan umum dan mengendalikan pelbagai pelanggan, kerangka utama dibina untuk tugas tinggi, misi kritikal. Sistem yang kuat ini sering dijumpai di Heavil

See all articles

Alat AI Hot

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

AI Hentai Generator

AI Hentai Generator

Menjana ai hentai secara percuma.

Artikel Panas

R.E.P.O. Kristal tenaga dijelaskan dan apa yang mereka lakukan (kristal kuning)
3 minggu yang laluBy尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Tetapan grafik terbaik
3 minggu yang laluBy尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Cara Memperbaiki Audio Jika anda tidak dapat mendengar sesiapa
3 minggu yang laluBy尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Cara Membuka Segala -galanya Di Myrise
3 minggu yang laluBy尊渡假赌尊渡假赌尊渡假赌

Alat panas

Versi Mac WebStorm

Versi Mac WebStorm

Alat pembangunan JavaScript yang berguna

MantisBT

MantisBT

Mantis ialah alat pengesan kecacatan berasaskan web yang mudah digunakan yang direka untuk membantu dalam pengesanan kecacatan produk. Ia memerlukan PHP, MySQL dan pelayan web. Lihat perkhidmatan demo dan pengehosan kami.

SecLists

SecLists

SecLists ialah rakan penguji keselamatan muktamad. Ia ialah koleksi pelbagai jenis senarai yang kerap digunakan semasa penilaian keselamatan, semuanya di satu tempat. SecLists membantu menjadikan ujian keselamatan lebih cekap dan produktif dengan menyediakan semua senarai yang mungkin diperlukan oleh penguji keselamatan dengan mudah. Jenis senarai termasuk nama pengguna, kata laluan, URL, muatan kabur, corak data sensitif, cangkerang web dan banyak lagi. Penguji hanya boleh menarik repositori ini ke mesin ujian baharu dan dia akan mempunyai akses kepada setiap jenis senarai yang dia perlukan.

VSCode Windows 64-bit Muat Turun

VSCode Windows 64-bit Muat Turun

Editor IDE percuma dan berkuasa yang dilancarkan oleh Microsoft

Muat turun versi mac editor Atom

Muat turun versi mac editor Atom

Editor sumber terbuka yang paling popular