


Ajar anda cara menggunting 'alpaca' langkah demi langkah, pasukan Chen Danqi mencadangkan kaedah pemangkasan model besar LLM-Shearing
Apakah kesan pemotongan rambut alpaka model besar Llama 2? Hari ini, pasukan Chen Danqi dari Princeton University mencadangkan kaedah pemangkasan model besar yang dipanggil LLM-Shearing, yang boleh mencapai prestasi yang lebih baik daripada model saiz yang sama dengan jumlah pengiraan dan kos yang kecil.
Alamat kertas: https://arxiv.org/abs/2310.06694#๐๐๐ Alamat kod: https://github.com/princeton-nlp/LLM-Shearing- ModelsSheared-LLaMA-1.3B, -LLaMA-2.7B
Sebelum memangkas LLM, para penyelidik mengenal pasti dua cabaran teknikal utama, Pertama, bagaimana untuk menentukan struktur pemangkasan akhir dengan prestasi yang kuat dan penaakulan yang cekap? Teknologi pemangkasan berstruktur semasa LLM tidak mempunyai struktur sasaran yang ditentukan, menyebabkan prestasi yang tidak memuaskan dan kelajuan inferens model yang dipangkas kedua, bagaimana untuk meneruskan pra-latihan model yang dipangkas untuk mencapai prestasi yang diharapkan? Mereka mendapati bahawa latihan dengan data pra-latihan mentah menghasilkan pengurangan kerugian yang berbeza di seluruh domain berbanding dengan melatih model dari awal.
Sebagai tindak balas kepada dua cabaran ini, penyelidik mencadangkan algoritma
Akhir sekali, penyelidik mencantas model LLaMA2-7B kepada dua LLM yang lebih kecil, iaitu Sheared-LLaMA-1.3B dan Sheared -LLaMA-2.7B mengesahkan keberkesanan pendekatannya.
Mereka hanya menggunakan 50 bilion token (iaitu 5% daripada bajet pra-latihan OpenLLaMA) untuk memangkas dan meneruskan pra-latihan, tetapi untuk 11 wakil Kedua-dua model masih mengatasi prestasi LLM popular lain yang mempunyai saiz yang serupa, termasuk Pythia, INCITE dan OpenLLaMA, untuk tugasan hiliran seperti pengetahuan am, pemahaman bacaan dan pengetahuan dunia, serta penalaan arahan terjana terbuka.
Tetapi harus disebutkan bahawa apabila kertas ini mengeluarkan Sheared-LLaMA-3B, rekod model sumber terbuka 3B terkuat telah diambil oleh StableLM - Rehat 3B.
- pemangkasan berstruktur #๐๐๐##๐๐๐
#๐##๐##๐ ๐๐#
SHEARED-LLAMA lebih baik dari saiz LM yang sama
Atas ialah kandungan terperinci Ajar anda cara menggunting 'alpaca' langkah demi langkah, pasukan Chen Danqi mencadangkan kaedah pemangkasan model besar LLM-Shearing. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

AI Menambah Penyediaan Makanan Walaupun masih dalam penggunaan baru, sistem AI semakin digunakan dalam penyediaan makanan. Robot yang didorong oleh AI digunakan di dapur untuk mengautomasikan tugas penyediaan makanan, seperti membuang burger, membuat pizza, atau memasang SA

Pengenalan Memahami ruang nama, skop, dan tingkah laku pembolehubah dalam fungsi Python adalah penting untuk menulis dengan cekap dan mengelakkan kesilapan runtime atau pengecualian. Dalam artikel ini, kami akan menyelidiki pelbagai ASP

Pengenalan Bayangkan berjalan melalui galeri seni, dikelilingi oleh lukisan dan patung yang terang. Sekarang, bagaimana jika anda boleh bertanya setiap soalan dan mendapatkan jawapan yang bermakna? Anda mungkin bertanya, "Kisah apa yang anda ceritakan?

Meneruskan irama produk, bulan ini MediaTek telah membuat satu siri pengumuman, termasuk Kompanio Ultra dan Dimensity 9400 yang baru. Produk ini mengisi bahagian perniagaan MediaTek yang lebih tradisional, termasuk cip untuk telefon pintar

#1 Google melancarkan Agent2Agent Cerita: Ia Isnin pagi. Sebagai perekrut berkuasa AI, anda bekerja lebih pintar, tidak lebih sukar. Anda log masuk ke papan pemuka syarikat anda di telefon anda. Ia memberitahu anda tiga peranan kritikal telah diperolehi, dijadualkan, dan dijadualkan untuk

Saya akan meneka bahawa anda mesti. Kita semua seolah -olah tahu bahawa psychobabble terdiri daripada pelbagai perbualan yang menggabungkan pelbagai terminologi psikologi dan sering akhirnya menjadi tidak dapat difahami atau sepenuhnya tidak masuk akal. Semua yang anda perlu lakukan untuk memuntahkan fo

Hanya 9.5% plastik yang dihasilkan pada tahun 2022 dibuat daripada bahan kitar semula, menurut satu kajian baru yang diterbitkan minggu ini. Sementara itu, plastik terus menumpuk di tapak pelupusan sampah -dan ekosistem -sekitar dunia. Tetapi bantuan sedang dalam perjalanan. Pasukan Engin

Perbualan baru -baru ini dengan Andy Macmillan, Ketua Pegawai Eksekutif Platform Analytics Enterprise terkemuka Alteryx, menonjolkan peranan kritikal namun kurang dihargai ini dalam revolusi AI. Seperti yang dijelaskan oleh Macmillan, jurang antara data perniagaan mentah dan maklumat siap sedia


Alat AI Hot

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool
Gambar buka pakaian secara percuma

Clothoff.io
Penyingkiran pakaian AI

AI Hentai Generator
Menjana ai hentai secara percuma.

Artikel Panas

Alat panas

SublimeText3 Linux versi baharu
SublimeText3 Linux versi terkini

DVWA
Damn Vulnerable Web App (DVWA) ialah aplikasi web PHP/MySQL yang sangat terdedah. Matlamat utamanya adalah untuk menjadi bantuan bagi profesional keselamatan untuk menguji kemahiran dan alatan mereka dalam persekitaran undang-undang, untuk membantu pembangun web lebih memahami proses mengamankan aplikasi web, dan untuk membantu guru/pelajar mengajar/belajar dalam persekitaran bilik darjah Aplikasi web keselamatan. Matlamat DVWA adalah untuk mempraktikkan beberapa kelemahan web yang paling biasa melalui antara muka yang mudah dan mudah, dengan pelbagai tahap kesukaran. Sila ambil perhatian bahawa perisian ini

ZendStudio 13.5.1 Mac
Persekitaran pembangunan bersepadu PHP yang berkuasa

SecLists
SecLists ialah rakan penguji keselamatan muktamad. Ia ialah koleksi pelbagai jenis senarai yang kerap digunakan semasa penilaian keselamatan, semuanya di satu tempat. SecLists membantu menjadikan ujian keselamatan lebih cekap dan produktif dengan menyediakan semua senarai yang mungkin diperlukan oleh penguji keselamatan dengan mudah. Jenis senarai termasuk nama pengguna, kata laluan, URL, muatan kabur, corak data sensitif, cangkerang web dan banyak lagi. Penguji hanya boleh menarik repositori ini ke mesin ujian baharu dan dia akan mempunyai akses kepada setiap jenis senarai yang dia perlukan.

SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan