Model besar sumber terbuka mesti mengatasi sumber tertutup - LeCun mendedahkan carta arah aliran AI 2024

2023 hampir tamat. Sepanjang tahun lalu, pelbagai model besar telah dikeluarkan. Ketika gergasi teknologi seperti OpenAI dan Google bersaing, satu lagi "kuasa" sedang meningkat secara senyap - sumber terbuka.

Model sumber terbuka sentiasa banyak dipersoalkan. Adakah mereka sebaik model proprietari? Bolehkah ia sepadan dengan prestasi model proprietari? Setakat ini, kami dapat mengatakan bahawa kami hanya agak rapat. Walaupun begitu, model sumber terbuka akan sentiasa membawa kita prestasi empirikal, yang membuatkan kita kagum dengan kekaguman.

Kebangkitan model sumber terbuka mengubah peraturan permainan. Siri LLaMA Meta, sebagai contoh, semakin popular kerana lelaran pantas, kebolehsesuaian dan privasinya. Model-model ini sedang dibangunkan dengan pantas oleh masyarakat, mewujudkan cabaran yang hebat kepada model proprietari dan mampu mengubah landskap kompetitif syarikat teknologi besar.

Tetapi sebelum ini, kebanyakan idea orang hanya datang dari "perasaan". Pagi ini, ketua saintis AI Meta dan pemenang Anugerah Turing Yann LeCun tiba-tiba mengeluh: "Model kecerdasan buatan sumber terbuka sedang menuju ke arah mengatasi model proprietari

Ini dibiayai oleh Ark Investment ( Carta trend yang dihasilkan." oleh pasukan ARK Invest dianggap mungkin meramalkan perkembangan kecerdasan buatan pada tahun 2024. Ia menunjukkan pertumbuhan komuniti sumber terbuka berbanding model proprietari dalam kecerdasan buatan generatif

Apabila syarikat seperti OpenAI dan Google menjadi semakin tertutup, mereka semakin jarang mendedahkan maklumat tentang model terbaharu mereka. Akibatnya, komuniti sumber terbuka dan Meta penyokong korporatnya mula melangkah untuk mendemokrasikan AI generatif, mungkin menimbulkan cabaran kepada model perniagaan model proprietari

Pelbagai AI ditunjukkan dalam plot taburan ini Peratusan prestasi model. Model proprietari ditunjukkan dalam warna biru dan model sumber terbuka dalam warna hitam. Kita boleh melihat prestasi model AI yang berbeza seperti GPT-3, Chinchilla 70B (Google), PaLM (Google), GPT-4 (OpenAI) dan Llama65B (Meta) pada titik masa yang berbeza.

Apabila Meta pada mulanya mengeluarkan LLaMA, bilangan parameter berubah daripada 7 bilion hingga 65 bilion. Prestasi model ini sangat baik: model Llama dengan 13 bilion parameter boleh mengatasi GPT-3 (175 bilion parameter) "pada kebanyakan penanda aras" dan boleh berjalan pada satu V100 GPU manakala 65 bilion terbesar Parameter model Llama; adalah setanding dengan Chinchilla-70B dan PaLM-540B Google.

Falcon-40B melonjak ke bahagian atas kedudukan OpenLLM Huggingface sebaik sahaja ia dikeluarkan, mengubah adegan di mana Llama menonjol.

Llama 2 ialah sumber terbuka, sekali lagi menyebabkan perubahan besar dalam landskap model besar. Berbanding dengan Llama 1, Llama 2 mempunyai 40% lebih banyak data latihan, menggandakan panjang konteks dan menggunakan mekanisme perhatian pertanyaan berkumpulan.

Baru-baru ini, alam semesta model besar sumber terbuka telah memperoleh ahli kelas berat baharu - model Yi. Ia boleh mengendalikan 400,000 aksara Cina pada satu masa, dan kedua-dua bahasa Cina dan Inggeris mendominasi senarai. Yi-34B juga telah menjadi satu-satunya model domestik yang berjaya mendahului kedudukan model sumber terbuka Hugging Face setakat ini.

Mengikut plot taburan, prestasi model sumber terbuka terus mengejar model proprietari. Ini bermakna dalam masa terdekat, model sumber terbuka dijangka setanding atau bahkan mengatasi model proprietari dalam prestasi

Mistral 8x7B menarik pujian tinggi daripada penyelidik dengan kaedah keluaran yang paling mudah dan prestasi yang berkuasa hujung minggu lalu. Berkata "Model besar sumber tertutup telah sampai ke penghujungnya." Memandangkan projek komuniti sumber terbuka semasa Dengan kelajuan pembangunan, kami menjangkakan untuk mencapai tahap GPT-4 dalam tempoh 12 bulan akan datang "

Seterusnya, kita akan tunggu dan lihat sama ada masa depan. model sumber terbuka berjalan lancar dan jenis prestasi yang akan ditunjukkan

Atas ialah kandungan terperinci Model besar sumber terbuka mesti mengatasi sumber tertutup - LeCun mendedahkan carta arah aliran AI 2024. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!