cari
RumahPeranti teknologiAIGoogle dan Stanford bersama-sama mengeluarkan artikel: Mengapa kita mesti menggunakan model besar?

Model bahasa telah mengubah secara mendalam penyelidikan dan amalan dalam bidang pemprosesan bahasa semula jadi. Dalam beberapa tahun kebelakangan ini, model besar telah membuat penemuan penting dalam banyak bidang. Mereka tidak perlu diperhalusi pada tugasan hiliran Dengan arahan atau gesaan yang sesuai, mereka boleh mencapai prestasi yang cemerlang, kadangkala menakjubkan.

Sebagai contoh, GPT-3 [1] boleh menulis surat cinta, skrip dan menyelesaikan masalah penaakulan matematik yang kompleks dengan data, dan PaLM [2] boleh menerangkan jenaka. Contoh di atas hanyalah sebahagian besar daripada keupayaan model yang besar Banyak aplikasi telah dibangunkan menggunakan keupayaan model yang besar Anda boleh melihat banyak demo berkaitan di laman web OpenAI [3], tetapi keupayaan ini jarang ditunjukkan dalam model kecil.

Dalam kertas kerja yang diperkenalkan hari ini, keupayaan yang tidak dimiliki oleh model kecil tetapi model besar dipanggil keupayaan muncul (Emergent Abilities), yang bermaksud bahawa skala model cukup besar. pada tahap tertentu Keupayaan mendadak yang diperoleh kemudian. Ini adalah proses di mana perubahan kuantitatif menghasilkan perubahan kualitatif.

Kemunculan kebolehan yang timbul sukar untuk diramalkan. Mengapa model tiba-tiba memperoleh keupayaan tertentu apabila skala meningkat masih menjadi persoalan terbuka yang memerlukan penyelidikan lanjut untuk menjawab. Dalam artikel ini, penulis menyusun beberapa kemajuan terkini dalam memahami model besar dan memberikan beberapa pemikiran yang berkaitan, saya berharap untuk membincangkannya dengan anda.

Kertas berkaitan: ​

  • Keupayaan Muncul Model Bahasa Besar.
    http://arxiv. org/abs/2206.07682
  • Melangkaui Permainan Tiruan: Mengukur dan mengekstrapolasi keupayaan model bahasa.
    https://arxiv.org/abs/ 2206.04615

​Keupayaan Muncul Model Besar

Apakah model besar? Apakah saiz yang dianggap "besar"? Ini tidak mempunyai definisi yang jelas.

Secara umumnya, parameter model mungkin perlu mencapai satu bilion tahap sebelum ia menunjukkan keupayaan yang berbeza dengan ketara daripada sifar tangkapan dan beberapa tangkapan model kecil. Dalam tahun-tahun kebelakangan ini, terdapat banyak model dengan ratusan bilion dan trilion parameter, yang telah mencapai prestasi SOTA pada satu siri tugasan. Dalam sesetengah tugasan, prestasi model meningkat dengan pasti dengan skala yang semakin meningkat, manakala dalam tugasan lain, model menunjukkan peningkatan mendadak dalam prestasi pada skala tertentu. Dua penunjuk boleh digunakan untuk mengklasifikasikan tugasan yang berbeza [4]: ​​​​

  • Kelinearan: bertujuan untuk mengukur sejauh mana model melaksanakan tugas apabila skala meningkat telah diperbaiki dengan pasti.

  • Terobosan: Bertujuan untuk mengukur sejauh mana tugas boleh dipelajari apabila saiz model melebihi nilai kritikal.

Kedua-dua penunjuk ini ialah fungsi skala model dan prestasi model Untuk butiran pengiraan khusus, sila rujuk [4]. Rajah di bawah menunjukkan beberapa contoh tugasan Lineariti tinggi dan Terobosan tinggi.

Google dan Stanford bersama-sama mengeluarkan artikel: Mengapa kita mesti menggunakan model besar?

Tugas Lineariti Tinggi kebanyakannya berasaskan pengetahuan, yang bermaksud mereka bergantung terutamanya pada menghafal apa yang wujud dalam data latihan Maklumat , seperti menjawab soalan fakta. Model yang lebih besar biasanya menggunakan lebih banyak data untuk latihan dan boleh mengingati lebih banyak pengetahuan, jadi model menunjukkan peningkatan yang stabil dalam tugasan tersebut apabila skala meningkat. Tugasan pencapaian tinggi termasuk tugas yang lebih kompleks yang memerlukan penggunaan beberapa kebolehan yang berbeza atau pelaksanaan berbilang langkah untuk mendapatkan jawapan yang betul, seperti penaakulan matematik. Model yang lebih kecil berjuang untuk memperoleh semua keupayaan yang diperlukan untuk melaksanakan tugas tersebut.

Angka berikut menunjukkan lagi prestasi model yang berbeza pada beberapa tugas terobosan tinggi

Google dan Stanford bersama-sama mengeluarkan artikel: Mengapa kita mesti menggunakan model besar?

Sebelum mencapai skala model tertentu, prestasi model pada tugasan ini adalah rawak Selepas mencapai skala tertentu, terdapat peningkatan yang ketara.

Adakah ia lancar atau tiba-tiba?

Apa yang kita lihat sebelum ini ialah model tiba-tiba memperoleh keupayaan tertentu selepas skala meningkat ke tahap tertentu Dari perspektif penunjuk khusus tugas, keupayaan ini muncul, tetapi dari perspektif lain, potensi perubahan dalam keupayaan model. Lebih licin. Artikel ini membincangkan dua perspektif berikut: (1) menggunakan penunjuk yang lebih lancar; (2) menguraikan tugas yang kompleks kepada berbilang subtugas.

Rajah berikut (a) menunjukkan lengkung perubahan kebarangkalian log sasaran sebenar untuk beberapa tugas penembusan tinggi Kebarangkalian log sasaran sebenar meningkat secara beransur-ansur apabila saiz model meningkat .

Google dan Stanford bersama-sama mengeluarkan artikel: Mengapa kita mesti menggunakan model besar?

Rajah (b) menunjukkan bahawa untuk tugas aneka pilihan tertentu, apabila saiz model bertambah, Kebarangkalian log jawapan yang betul meningkat secara beransur-ansur, manakala kebarangkalian log jawapan yang salah meningkat secara beransur-ansur sehingga saiz tertentu dan kemudiannya dimatikan. Selepas skala ini, jurang antara kebarangkalian jawapan betul dan kebarangkalian jawapan salah semakin melebar, dan model mencapai peningkatan prestasi yang ketara.

Selain itu, untuk tugasan tertentu, katakan kita boleh menggunakan Exact Match dan BLEU untuk menilai prestasi model BLEU ialah penunjuk yang lebih lancar daripada Exact Match, dan penunjuk berbeza digunakan . Mungkin terdapat perbezaan yang ketara dalam trend yang dilihat.

Untuk beberapa tugasan, model mungkin memperoleh keupayaan separa untuk melakukan tugasan pada skala yang berbeza. Gambar di bawah ialah tugas meneka nama filem melalui rentetan emoji

Google dan Stanford bersama-sama mengeluarkan artikel: Mengapa kita mesti menggunakan model besar?

Kita dapat melihat bahawa model mula meneka pada beberapa skala Tajuk Filem, Mengenali Semantik Emoji pada Skala yang Lebih Besar, Menghasilkan Jawapan Betul pada Skala Terbesar.

Model besar sensitif terhadap cara tugasan diformalkan

Skala model menunjukkan peningkatan mendadak dalam keupayaan juga bergantung pada cara tugas itu diformalkan. Sebagai contoh, pada tugasan penaakulan matematik yang kompleks, jika gesaan standard digunakan untuk menganggapnya sebagai tugasan soal jawab, peningkatan prestasi akan menjadi sangat terhad kerana saiz model meningkat Walau bagaimanapun, jika gesaan rantaian pemikiran [5]. digunakan seperti yang ditunjukkan dalam rajah di bawah, ia akan dianggap sebagai tugasan soal jawab Dianggap sebagai tugas inferens berbilang langkah, peningkatan prestasi yang ketara akan dilihat pada skala tertentu.

Google dan Stanford bersama-sama mengeluarkan artikel: Mengapa kita mesti menggunakan model besar?

Google dan Stanford bersama-sama mengeluarkan artikel: Mengapa kita mesti menggunakan model besar?

Apatah lagi, penyelidik mendapati bahawa dengan menambahkan gesaan ringkas "Mari kita fikirkan langkah demi langkah" boleh meningkatkan keupayaan penaakulan sifar pukulan GPT-3 [6], seperti yang ditunjukkan dalam rajah di bawah

Google dan Stanford bersama-sama mengeluarkan artikel: Mengapa kita mesti menggunakan model besar?

Apa yang memberi inspirasi kepada kami ialah kadangkala model besar tidak dapat melakukan tugas tertentu dengan baik. Mungkin bukan ia tidak dapat melakukannya dengan baik, tetapi ia memerlukan cara yang sesuai untuk merangsang keupayaannya.

Adakah model yang lebih besar, mesti lebih kuat?

Perbincangan sebelum ini memberi kita perasaan intuitif bahawa prestasi mesti dipertingkatkan apabila skala model meningkat, tetapi adakah ini benar-benar berlaku? Malah, untuk sesetengah tugasan, prestasi sebenarnya mungkin menurun apabila model menjadi lebih besar, seperti yang ditunjukkan dalam rajah di bawah

Google dan Stanford bersama-sama mengeluarkan artikel: Mengapa kita mesti menggunakan model besar?

Beberapa penyelidik di Universiti New York turut menganjurkan pertandingan untuk mencari tugas yang model menunjukkan prestasi yang lebih teruk apabila ia semakin besar.

Google dan Stanford bersama-sama mengeluarkan artikel: Mengapa kita mesti menggunakan model besar?

Contohnya, dalam tugasan soal jawab, jika anda menambah kepercayaan anda bersama soalan, model besar akan lebih mudah terjejas. Pelajar yang berminat boleh memberi perhatian.

Ringkasan dan Pemikiran

  • Dalam kebanyakan tugas, apabila saiz model meningkat, prestasi model menjadi lebih baik , tetapi terdapat juga beberapa contoh balas. Lebih banyak penyelidikan diperlukan untuk lebih memahami tingkah laku model.

  • Keupayaan model besar perlu dirangsang dengan cara yang sesuai.

  • Adakah model besar benar-benar melakukan inferens? Seperti yang telah kita lihat sebelum ini, dengan menambahkan gesaan "Mari kita fikirkan langkah demi langkah", model besar boleh melakukan penaakulan berbilang langkah dan mencapai hasil yang memuaskan pada tugasan penaakulan matematik Nampaknya model itu sudah mempunyai keupayaan penaakulan manusia. Walau bagaimanapun, seperti yang ditunjukkan di bawah, jika anda memberikan GPT-3 soalan yang tidak bermakna dan membiarkannya melakukan penaakulan pelbagai langkah, GPT-3 nampaknya melakukan penaakulan, tetapi sebenarnya ia adalah beberapa output yang tidak bermakna. Bak kata pepatah "sampah masuk, sampah keluar". Sebagai perbandingan, manusia boleh menilai sama ada soalan itu munasabah, iaitu sama ada soalan semasa boleh dijawab dalam keadaan tertentu. "Mari kita fikirkan langkah demi langkah" saya fikir sebab asasnya ialah GPT-3 telah melihat banyak data yang serupa semasa proses latihan. Masih terdapat perbezaan asas dalam cara berfikir. Sudah tentu, jika gesaan yang sesuai diberikan untuk membolehkan GPT-3 menilai sama ada soalan itu munasabah, ia mungkin dapat melakukannya sedikit sebanyak, tetapi masih terdapat jarak yang agak jauh antara "berfikir" dan "menaakul". bukan perkara mudah. ​​Ini boleh diselesaikan dengan meningkatkan saiz model. Model mungkin tidak perlu berfikir seperti manusia, tetapi lebih banyak penyelidikan diperlukan segera untuk meneroka laluan selain meningkatkan saiz model.

Google dan Stanford bersama-sama mengeluarkan artikel: Mengapa kita mesti menggunakan model besar?

  • Sistem 1 atau Sistem 2? Otak manusia mempunyai dua sistem yang bekerjasama antara satu sama lain Sistem 1 (intuisi) adalah pantas dan automatik, manakala Sistem 2 (rasional) adalah perlahan dan boleh dikawal. Sebilangan besar eksperimen telah membuktikan bahawa orang lebih suka menggunakan gerak hati untuk membuat pertimbangan dan keputusan, dan rasional boleh membetulkan bias yang disebabkan olehnya. Kebanyakan model semasa direka bentuk berdasarkan Sistem 1 atau Sistem 2. Bolehkah model masa depan direka bentuk berdasarkan sistem dwi?

  • Bahasa pertanyaan dalam era model besar. Sebelum ini, kami menyimpan pengetahuan dan data dalam pangkalan data dan graf pengetahuan.

Encik Mei Yiqi pernah berkata, "Yang dikatakan ulama besar bukan bermaksud bangunan, tetapi penulis menggunakan istilah yang tidak sesuai di sini artikel ini dengan analogi: model besar yang dipanggil tidak bermakna ia mempunyai parameter, tetapi ia mempunyai keupayaan.

Atas ialah kandungan terperinci Google dan Stanford bersama-sama mengeluarkan artikel: Mengapa kita mesti menggunakan model besar?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan
Artikel ini dikembalikan pada:51CTO.COM. Jika ada pelanggaran, sila hubungi admin@php.cn Padam
Claude vs Gemini: Perbandingan Komprehensif - Analytics VidhyaClaude vs Gemini: Perbandingan Komprehensif - Analytics VidhyaApr 13, 2025 am 09:20 AM

Pengenalan Dalam bidang kecerdasan buatan yang cepat berubah, dua model bahasa, Claude dan Gemini, telah menjadi pesaing yang terkenal, masing -masing memberikan kelebihan dan kemahiran yang berbeza. Walaupun kedua -dua model boleh mana

Mutable vs objek yang tidak berubah di Python - Analytics VidhyaMutable vs objek yang tidak berubah di Python - Analytics VidhyaApr 13, 2025 am 09:15 AM

Pengenalan Python adalah bahasa pengaturcaraan berorientasikan objek (atau oops). Dalam artikel saya yang terdahulu, kami meneroka sifatnya yang serba boleh. Oleh kerana itu, Python menawarkan pelbagai jenis data, yang boleh diklasifikasikan secara meluas ke m

11 Saluran YouTube Untuk Belajar Tableau secara Percuma - Analytics Vidhya11 Saluran YouTube Untuk Belajar Tableau secara Percuma - Analytics VidhyaApr 13, 2025 am 09:14 AM

Pengenalan Tableau dianggap sebagai salah satu alat visualisasi data yang paling mantap yang sedang digunakan oleh syarikat dan individu di seluruh dunia untuk analisis dan pembentangan data yang cekap. Dengan antara muka mesra pengguna dan exten

10 Pelanjutan pengekodan AI generatif dalam kod vs yang mesti anda pelajari10 Pelanjutan pengekodan AI generatif dalam kod vs yang mesti anda pelajariApr 13, 2025 am 01:14 AM

Hei ada, pengekodan ninja! Apa tugas yang berkaitan dengan pengekodan yang anda telah merancang untuk hari itu? Sebelum anda menyelam lebih jauh ke dalam blog ini, saya ingin anda memikirkan semua kesengsaraan yang berkaitan dengan pengekodan anda-lebih jauh menyenaraikan mereka. Selesai? - Let ’

Memasak Inovasi: Bagaimana Kecerdasan Buatan Mengubah Perkhidmatan MakananMemasak Inovasi: Bagaimana Kecerdasan Buatan Mengubah Perkhidmatan MakananApr 12, 2025 pm 12:09 PM

AI Menambah Penyediaan Makanan Walaupun masih dalam penggunaan baru, sistem AI semakin digunakan dalam penyediaan makanan. Robot yang didorong oleh AI digunakan di dapur untuk mengautomasikan tugas penyediaan makanan, seperti membuang burger, membuat pizza, atau memasang SA

Panduan Komprehensif mengenai Python Namespaces & Variable ScopesPanduan Komprehensif mengenai Python Namespaces & Variable ScopesApr 12, 2025 pm 12:00 PM

Pengenalan Memahami ruang nama, skop, dan tingkah laku pembolehubah dalam fungsi Python adalah penting untuk menulis dengan cekap dan mengelakkan kesilapan runtime atau pengecualian. Dalam artikel ini, kami akan menyelidiki pelbagai ASP

Panduan Komprehensif untuk Model Bahasa Visi (VLMS)Panduan Komprehensif untuk Model Bahasa Visi (VLMS)Apr 12, 2025 am 11:58 AM

Pengenalan Bayangkan berjalan melalui galeri seni, dikelilingi oleh lukisan dan patung yang terang. Sekarang, bagaimana jika anda boleh bertanya setiap soalan dan mendapatkan jawapan yang bermakna? Anda mungkin bertanya, "Kisah apa yang anda ceritakan?

MediaTek meningkatkan barisan premium dengan Kompanio Ultra dan Dimensity 9400MediaTek meningkatkan barisan premium dengan Kompanio Ultra dan Dimensity 9400Apr 12, 2025 am 11:52 AM

Meneruskan irama produk, bulan ini MediaTek telah membuat satu siri pengumuman, termasuk Kompanio Ultra dan Dimensity 9400 yang baru. Produk ini mengisi bahagian perniagaan MediaTek yang lebih tradisional, termasuk cip untuk telefon pintar

See all articles

Alat AI Hot

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

AI Hentai Generator

AI Hentai Generator

Menjana ai hentai secara percuma.

Artikel Panas

R.E.P.O. Kristal tenaga dijelaskan dan apa yang mereka lakukan (kristal kuning)
3 minggu yang laluBy尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Tetapan grafik terbaik
3 minggu yang laluBy尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Cara Memperbaiki Audio Jika anda tidak dapat mendengar sesiapa
3 minggu yang laluBy尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Cara Membuka Segala -galanya Di Myrise
4 minggu yang laluBy尊渡假赌尊渡假赌尊渡假赌

Alat panas

SecLists

SecLists

SecLists ialah rakan penguji keselamatan muktamad. Ia ialah koleksi pelbagai jenis senarai yang kerap digunakan semasa penilaian keselamatan, semuanya di satu tempat. SecLists membantu menjadikan ujian keselamatan lebih cekap dan produktif dengan menyediakan semua senarai yang mungkin diperlukan oleh penguji keselamatan dengan mudah. Jenis senarai termasuk nama pengguna, kata laluan, URL, muatan kabur, corak data sensitif, cangkerang web dan banyak lagi. Penguji hanya boleh menarik repositori ini ke mesin ujian baharu dan dia akan mempunyai akses kepada setiap jenis senarai yang dia perlukan.

PhpStorm versi Mac

PhpStorm versi Mac

Alat pembangunan bersepadu PHP profesional terkini (2018.2.1).

Penyesuai Pelayan SAP NetWeaver untuk Eclipse

Penyesuai Pelayan SAP NetWeaver untuk Eclipse

Integrasikan Eclipse dengan pelayan aplikasi SAP NetWeaver.

DVWA

DVWA

Damn Vulnerable Web App (DVWA) ialah aplikasi web PHP/MySQL yang sangat terdedah. Matlamat utamanya adalah untuk menjadi bantuan bagi profesional keselamatan untuk menguji kemahiran dan alatan mereka dalam persekitaran undang-undang, untuk membantu pembangun web lebih memahami proses mengamankan aplikasi web, dan untuk membantu guru/pelajar mengajar/belajar dalam persekitaran bilik darjah Aplikasi web keselamatan. Matlamat DVWA adalah untuk mempraktikkan beberapa kelemahan web yang paling biasa melalui antara muka yang mudah dan mudah, dengan pelbagai tahap kesukaran. Sila ambil perhatian bahawa perisian ini

SublimeText3 versi Mac

SublimeText3 versi Mac

Perisian penyuntingan kod peringkat Tuhan (SublimeText3)