Dengan asas teori, kami boleh menjalankan pengoptimuman yang mendalam.


- Selepas eksperimen pemodelan bahasa awal, didapati bahawa menggantikan lapisan perhatian kendiri standard dengan lapisan mesa mencapai hasil yang menjanjikan, membuktikan bahawa lapisan ini mempunyai keupayaan pembelajaran kontekstual yang kuat.
- Berdasarkan kerja baru-baru ini yang menunjukkan bahawa transformer yang dilatih secara eksplisit untuk menyelesaikan tugasan kecil dalam konteks boleh melaksanakan algoritma keturunan kecerunan (GD). Di sini, pengarang menunjukkan bahawa keputusan ini digeneralisasikan kepada pemodelan jujukan autoregresif-pendekatan tipikal untuk melatih LLM.
-
Kajian ini melatih pengubah dalam pada struktur token yang mengagregat unsur jujukan bersebelahan. Menariknya, prapemprosesan mudah ini menghasilkan matriks berat yang sangat jarang (kurang daripada 1% daripada pemberat adalah bukan sifar), menghasilkan algoritma kejuruteraan terbalik. Untuk perhatian kendiri linear satu lapisan, berat sepadan dengan satu langkah GD. Untuk transformer dalam, kebolehtafsiran menjadi sukar. Kajian ini bergantung pada probing linear dan mengkaji sama ada pengaktifan tersembunyi meramalkan sasaran autoregresif atau input praproses. Menariknya, kebolehramalan kedua-dua kaedah pengesanan secara beransur-ansur bertambah baik apabila kedalaman rangkaian meningkat. Dapatan ini menunjukkan bahawa GD praproses tersembunyi dalam model. Rajah 2: Kejuruteraan songsang lapisan perhatian diri linear terlatih. Kajian mendapati bahawa lapisan latihan boleh dipasang dengan sempurna apabila semua darjah kebebasan digunakan dalam pembinaan, termasuk bukan sahaja kadar pembelajaran yang dipelajari η, tetapi juga satu set pemberat awal yang dipelajari W_0. Yang penting, seperti yang ditunjukkan dalam Rajah 2, algoritma satu langkah yang dipelajari masih berprestasi jauh lebih baik daripada satu lapisan mesa.
Kita dapat perhatikan bahawa di bawah tetapan berat yang mudah, adalah mudah untuk mencari melalui pengoptimuman asas bahawa lapisan ini boleh menyelesaikan tugas yang dikaji di sini secara optimum. Keputusan ini menunjukkan kelebihan bias induktif berkod keras yang memihak kepada pengoptimuman mesa. , yang sepadan dengan memilih W_0 = 0.
Dengan pandangan teori ke dalam sarung berbilang lapisan, mula-mula analisa linear dalam dan softmax hanya memberi perhatian kepada Transformer. Pengarang memformat input mengikut struktur 4 saluran, Seperti model satu lapisan, penulis melihat struktur yang jelas dalam berat model terlatih. Sebagai analisis kejuruteraan terbalik yang pertama, kajian ini mengeksploitasi struktur ini dan membina algoritma (RevAlg-d, dengan d mewakili bilangan lapisan) yang mengandungi 16 parameter setiap pengepala lapisan (bukannya 3200). Penulis mendapati bahawa ungkapan termampat tetapi kompleks ini boleh menggambarkan model terlatih. Khususnya, ia membenarkan interpolasi antara Transformer sebenar dan pemberat RevAlg-d dalam cara yang hampir tanpa kerugian.
Walaupun ungkapan RevAlg-d menerangkan Transformer berbilang lapisan terlatih dengan sebilangan kecil parameter percuma, adalah sukar untuk mentafsirkannya sebagai algoritma pengoptimuman mesa. Oleh itu, penulis menggunakan analisis probing regresi linear (Alain & Bengio, 2017; Akyürek et al., 2023) untuk mencari ciri-ciri algoritma pengoptimuman mesa yang dihipotesiskan.
Pada Transformer perhatian kendiri linear dalam yang ditunjukkan dalam Rajah 3, kita dapat melihat bahawa kedua-dua probe boleh dinyahkod secara linear, dan prestasi penyahkodan meningkat dengan peningkatan panjang jujukan dan kedalaman rangkaian. Oleh itu, pengoptimuman asas menemui algoritma hibrid yang menuruni lapisan demi lapisan pada Lt (W) objektif mesa asal sambil menambah baik nombor keadaan masalah pengoptimuman mesa. Ini mengakibatkan penurunan pesat dalam mesa-objektif Lt (W). Ia juga boleh dilihat bahawa prestasi meningkat dengan ketara dengan peningkatan kedalaman.
Oleh itu, kemerosotan pesat autoregresif mesa-objektif Lt (W) dicapai melalui pengoptimuman mesa secara berperingkat (rentas lapisan) pada data praproses yang lebih baik.建 Rajah 3: Latihan pengubah berbilang lapisan untuk input binaan kejuruteraan songsang.Ini menunjukkan bahawa jika transformer dilatih pada token yang dibina, ia akan meramalkan dengan pengoptimuman mesa. Menariknya, apabila unsur jujukan diberikan secara langsung, pengubah akan membina token dengan sendirinya dengan mengumpulkan elemen, yang dipanggil oleh pasukan penyelidik "membuat dataset mesa". KesimpulanKajian ini menunjukkan bahawa model Transformer mampu membangunkan algoritma inferens berasaskan kecerunan apabila dilatih mengenai tugas ramalan jujukan di bawah objektif autoregresif standard. Oleh itu, hasil terkini yang diperoleh dalam tetapan meta-pembelajaran berbilang tugas juga boleh dipindahkan ke tetapan latihan LLM penyeliaan kendiri tradisional. Selain itu, kajian mendapati bahawa algoritma inferens autoregresif yang dipelajari boleh digunakan semula untuk menyelesaikan tugas pembelajaran kontekstual yang diselia tanpa memerlukan latihan semula, menerangkan hasil dalam satu rangka kerja bersatu. Jadi, apakah kaitan ini dengan pembelajaran dalam konteks? Kajian ini percaya bahawa selepas melatih pengubah pada tugas jujukan autoregresif, ia mencapai pengoptimuman mesa yang sesuai dan oleh itu boleh melakukan pembelajaran konteks beberapa pukulan tanpa sebarang penalaan halus. Kajian ini mengandaikan bahawa pengoptimuman mesa juga wujud untuk LLM, dengan itu meningkatkan keupayaan pembelajaran konteksnya. Menariknya, kajian itu juga mendapati bahawa menyesuaikan gesaan secara berkesan untuk LLM juga boleh membawa kepada peningkatan yang ketara dalam keupayaan pembelajaran kontekstual. Pembaca yang berminat boleh membaca teks asal kertas kerja untuk mengetahui lebih lanjut tentang kandungan penyelidikan. Kandungan rujukan: https://www.reddit.com/r/MachineLearning/comments/16jc2su/r_uncovering/mesathms_optimization https://twitter.com/ oswaldjoh/status/1701873029100241241
Atas ialah kandungan terperinci Dengan asas teori, kami boleh menjalankan pengoptimuman yang mendalam.. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Istilah "tenaga kerja siap sedia" sering digunakan, tetapi apakah maksudnya dalam industri rantaian bekalan? Menurut Abe Eshkenazi, Ketua Pegawai Eksekutif Persatuan Pengurusan Rantaian Bekalan (ASCM), ia menandakan profesional yang mampu mengkritik

Revolusi AI yang terdesentralisasi secara senyap -senyap mendapat momentum. Jumaat ini di Austin, Texas, Sidang Kemuncak Endgame Bittensor menandakan momen penting, beralih ke desentralisasi AI (DEAI) dari teori kepada aplikasi praktikal. Tidak seperti iklan mewah

Perusahaan AI menghadapi cabaran integrasi data Penggunaan perusahaan AI menghadapi cabaran utama: sistem bangunan yang dapat mengekalkan ketepatan dan kepraktisan dengan terus belajar data perniagaan. Microservices NEMO menyelesaikan masalah ini dengan mewujudkan apa yang NVIDIA menggambarkan sebagai "Flywheel Data", yang membolehkan sistem AI tetap relevan melalui pendedahan berterusan kepada maklumat perusahaan dan interaksi pengguna. Toolkit yang baru dilancarkan ini mengandungi lima microservices utama: Nemo Customizer mengendalikan penalaan model bahasa yang besar dengan latihan yang lebih tinggi. NEMO Evaluator menyediakan penilaian ringkas model AI untuk tanda aras tersuai. Nemo Guardrails Melaksanakan Kawalan Keselamatan untuk mengekalkan pematuhan dan kesesuaian

AI: Masa Depan Seni dan Reka Bentuk Kecerdasan Buatan (AI) mengubah bidang seni dan reka bentuk dengan cara yang belum pernah terjadi sebelumnya, dan impaknya tidak lagi terhad kepada amatur, tetapi lebih mempengaruhi profesional. Skim karya seni dan reka bentuk yang dihasilkan oleh AI dengan cepat menggantikan imej dan pereka bahan tradisional dalam banyak aktiviti reka bentuk transaksional seperti pengiklanan, generasi imej media sosial dan reka bentuk web. Walau bagaimanapun, artis dan pereka profesional juga mendapati nilai praktikal AI. Mereka menggunakan AI sebagai alat tambahan untuk meneroka kemungkinan estetik baru, menggabungkan gaya yang berbeza, dan membuat kesan visual baru. AI membantu artis dan pereka mengautomasikan tugas berulang, mencadangkan elemen reka bentuk yang berbeza dan memberikan input kreatif. AI menyokong pemindahan gaya, iaitu menggunakan gaya gambar

Zoom, yang pada mulanya dikenali untuk platform persidangan video, memimpin revolusi tempat kerja dengan penggunaan inovatif AIS AI. Perbualan baru -baru ini dengan CTO Zoom, XD Huang, mendedahkan penglihatan yang bercita -cita tinggi syarikat itu. Menentukan Agentic AI Huang d

Adakah AI akan merevolusikan pendidikan? Soalan ini mendorong refleksi serius di kalangan pendidik dan pihak berkepentingan. Penyepaduan AI ke dalam pendidikan memberikan peluang dan cabaran. Sebagai Matthew Lynch dari Nota Edvocate Tech, Universit

Pembangunan penyelidikan dan teknologi saintifik di Amerika Syarikat mungkin menghadapi cabaran, mungkin disebabkan oleh pemotongan anggaran. Menurut Alam, bilangan saintis Amerika yang memohon pekerjaan di luar negara meningkat sebanyak 32% dari Januari hingga Mac 2025 berbanding dengan tempoh yang sama pada tahun 2024. Pungutan sebelumnya menunjukkan bahawa 75% penyelidik yang ditinjau sedang mempertimbangkan untuk mencari pekerjaan di Eropah dan Kanada. Beratus-ratus geran NIH dan NSF telah ditamatkan dalam beberapa bulan yang lalu, dengan geran baru NIH turun kira-kira $ 2.3 bilion tahun ini, setitik hampir satu pertiga. Cadangan belanjawan yang bocor menunjukkan bahawa pentadbiran Trump sedang mempertimbangkan untuk memotong belanjawan secara mendadak untuk institusi saintifik, dengan kemungkinan pengurangan sehingga 50%. Kegawatan dalam bidang penyelidikan asas juga telah menjejaskan salah satu kelebihan utama Amerika Syarikat: menarik bakat luar negara. 35

OpenAI melancarkan siri GPT-4.1 yang kuat: keluarga tiga model bahasa lanjutan yang direka untuk aplikasi dunia nyata. Lompat penting ini menawarkan masa tindak balas yang lebih cepat, pemahaman yang lebih baik, dan kos yang dikurangkan secara drastik berbanding t


Alat AI Hot

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool
Gambar buka pakaian secara percuma

Clothoff.io
Penyingkiran pakaian AI

Video Face Swap
Tukar muka dalam mana-mana video dengan mudah menggunakan alat tukar muka AI percuma kami!

Artikel Panas

Alat panas

EditPlus versi Cina retak
Saiz kecil, penyerlahan sintaks, tidak menyokong fungsi gesaan kod

Muat turun versi mac editor Atom
Editor sumber terbuka yang paling popular

MinGW - GNU Minimalis untuk Windows
Projek ini dalam proses untuk dipindahkan ke osdn.net/projects/mingw, anda boleh terus mengikuti kami di sana. MinGW: Port Windows asli bagi GNU Compiler Collection (GCC), perpustakaan import yang boleh diedarkan secara bebas dan fail pengepala untuk membina aplikasi Windows asli termasuk sambungan kepada masa jalan MSVC untuk menyokong fungsi C99. Semua perisian MinGW boleh dijalankan pada platform Windows 64-bit.

Dreamweaver CS6
Alat pembangunan web visual

SecLists
SecLists ialah rakan penguji keselamatan muktamad. Ia ialah koleksi pelbagai jenis senarai yang kerap digunakan semasa penilaian keselamatan, semuanya di satu tempat. SecLists membantu menjadikan ujian keselamatan lebih cekap dan produktif dengan menyediakan semua senarai yang mungkin diperlukan oleh penguji keselamatan dengan mudah. Jenis senarai termasuk nama pengguna, kata laluan, URL, muatan kabur, corak data sensitif, cangkerang web dan banyak lagi. Penguji hanya boleh menarik repositori ini ke mesin ujian baharu dan dia akan mempunyai akses kepada setiap jenis senarai yang dia perlukan.
