Meta merancang untuk mengeluarkan versi sumber terbuka baharu bagi model besar tahap GPT-4 tahun hadapan bilangan parameternya akan menjadi beberapa kali ganda berbanding Llama 2, dan pengguna boleh menggunakannya secara komersil secara percuma.

Menurut media asing "Wall Street Journal", Meta sedang meningkatkan pembangunan model bahasa besar baharu, keupayaannya akan diselaraskan sepenuhnya dengan GPT-4 dan dijangka akan dilancarkan tahun depan.

Berita itu juga secara khusus menekankan bahawa model bahasa besar baharu Meta akan menjadi beberapa kali lebih besar daripada Llama 2, dan kemungkinan besar ia akan menjadi sumber terbuka dan menyokong penggunaan komersial percuma.

Sejak Meta "secara tidak sengaja" membocorkan LlaMA pada awal tahun, kepada keluaran sumber terbuka Llama 2 pada bulan Julai, Meta secara beransur-ansur menemui kedudukan uniknya dalam gelombang AI ini - sepanduk sumber terbuka AI masyarakat.

Kakitangan sentiasa berubah, dan keupayaan model adalah cacat, jadi kami hanya boleh bergantung pada perisian sumber terbuka untuk menyelesaikan masalah

Pada awal tahun, selepas OpenAI meledakkan industri teknologi dengan GPT -4, Google dan Microsoft turut melancarkan produk AI mereka sendiri.

Pada bulan Mei, pengawal selia A.S. telah menjemput CEO syarikat terkemuka yang mereka anggap relevan dengan industri AI pada masa itu untuk mengadakan mesyuarat meja bulat bagi membincangkan pembangunan teknologi AI.

OpenAI, Google dan Microsoft telah dijemput untuk mengambil bahagian, dan juga permulaan Anthropic, tetapi Meta tidak muncul. Pada masa itu, jawapan rasmi untuk alasan ketidakhadiran Meta ialah: "Kami hanya menjemput syarikat terkemuka dalam industri AI

Perkara yang baik tidak berlaku kepada Meta, tetapi masalah terus datang.

Xiao Zha menerima surat siasatan daripada Kongres pada awal Jun, meminta beliau menerangkan secara terperinci punca dan kesan kebocoran LlaMA pada bulan Mac. Surat itu ditulis dengan tegas dan syaratnya sangat jelas

Dalam bulan-bulan berikutnya, walaupun selepas pengeluaran Llama 2, pasukan AI yang Meta telah membelanjakan banyak wang untuk dibina masih beransur-ansur jatuh. berpisah.

Dalam pengiktirafan Llama 2, empat ahli pasukan yang mula-mula memulakan penyelidikan ini disebut, tiga daripadanya telah meletak jawatan, dan pada masa ini hanya Edouard Grave yang masih bekerja di Syarikat Meta

He Kaiming juga akan meninggalkan Meta dan kembali ke akademik.

Menurut artikel terbaharu oleh The Information, pasukan AI Meta telah mengalami geseran berterusan akibat persaingan untuk kuasa pengkomputeran dalaman, dan kakitangan telah meninggalkan satu demi satu.

Dalam konteks ini, Xiao Zha sendiri juga harus tahu dengan baik bahawa model bahasa Meta sendiri yang besar sememangnya tidak mampu bersaing dengan GPT-4 yang paling canggih dalam industri.

Sama ada dari pelbagai arah ujian penanda aras atau maklum balas pengguna, jurang antara Llama 2 dan GPT-4 masih sangat besar

Dalam pelbagai ujian penanda aras, sumber terbuka Llama 2 dan Terdapat jurang yang agak besar antara GPT-4

GPT-4 masih menunjukkan pendahuluan yang jelas berbanding Llama 2 dalam pengalaman sebenar netizen

🎜

Oleh itu, Xiao Zha memutuskan untuk membiarkan Meta terus berjalan liar di jalan model sumber terbuka

Mungkin pemikiran Xiao Zha di sebaliknya adalah ini: keupayaan model Meta adalah sederhana dan tidak dapat bersaing dengan gergasi sumber tertutup, jadi ada tiada gunanya terus merahsiakan kepentingannya. Oleh itu, cukup buka sumber dan biarkan komuniti AI terus bergerak berdasarkan model mereka sendiri untuk mengembangkan pengaruh produk mereka dalam industri

Xiao Zha telah banyak kali menyatakan secara terbuka bahawa komuniti sumber terbuka telah memainkan peranan yang memberi inspirasi peranan dalam lelaran model mereka. Membenarkan pasukan teknikal mereka untuk membangunkan produk yang lebih kompetitif pada masa hadapan

Xiao Zha menekankan dalam podcast Fridman bahawa sumber terbuka membolehkan Meta mendapatkan inspirasi daripada komuniti, dan Meta boleh melancarkan sumber tertutup dalam Model masa depan.

Lihat: https://lexfridman.com/mark-zuckerberg-2/

Dan fakta telah membuktikan bahawa pilihan Meta memang betul.

Walaupun ia tidak sehebat Google dan OpenAI dari segi sumber pengkomputeran dan kekuatan teknikal, model sumber terbuka seperti Meta’s Llama 2 masih tiada duanya dalam daya tarikan mereka kepada komuniti sumber terbuka. Memandangkan Llama 2 perlahan-lahan menjadi "asas teknikal" komuniti sumber terbuka AI, Meta juga telah menemui niche ekologinya sendiri dalam industri.

Tanda yang paling jelas ialah pada mesyuarat tertutup AI Kongres yang akan diadakan pada bulan September, Xiao Zha akhirnya menjadi tetamu pengawal selia, berkhidmat sebagai wakil bersama-sama dengan CEO syarikat paling canggih di industri seperti Google dan OpenAI , membuat suara anda sendiri mengenai peraturan industri AI.

Dan jika model baharu yang dilancarkan oleh Meta tahun depan boleh terus membuat kemajuan dan memperoleh keupayaan yang sama seperti GPT-4, di satu pihak, ia akan membolehkan komuniti sumber terbuka terus merapatkan jurang dengan gergasi sumber tertutup, dan ia akan diperkukuhkan " Jurang antara komuniti sumber terbuka dan tahap paling maju industri adalah kira-kira satu tahun."

Sebaliknya, Xiao Zha turut mendedahkan dalam temu bual bahawa jika keupayaan model besar dipertingkatkan lagi pada masa hadapan, Meta mungkin melancarkan model sumber tertutupnya sendiri. Jika model baharu itu boleh mendekati industri SOTA, ia mungkin tidak jauh dari Meta melancarkan model sumber tertutupnya sendiri.

Walaupun Meta nampaknya agak ketinggalan buat sementara waktu dalam gelombang AI ini, Xiao Zha tidak berpuas hati dengan menjadi pengikut sahaja

Di bawah bimbingan Yann Lecun, Meta juga sedang bersedia untuk menumbangkan seluruh industri

Meta The future

Jadi, selepas model besar misteri legenda yang boleh menandingi GPT-4 ini, bagaimanakah rupa masa depan Meta AI?

Disebabkan belum ada maklumat khusus, kami hanya boleh membuat beberapa tekaan sahaja seperti bermula dari sikap ketua saintis Meta AI LeCun.

GPT yang popular sentiasa menjadi laluan pembangunan kecerdasan buatan yang dikritik dan dibenci oleh LeCun.

Pada 4 Februari tahun ini, LeCun secara terang-terangan menyatakan pendapatnya bahawa model bahasa besar adalah jalan yang salah di jalan menuju AI peringkat manusia

Beliau percaya asas ini Model kebarangkalian autoregresif besar akan generatif. tidak dapat bertahan selama paling lama 5 tahun, kerana kecerdasan buatan ini hanya dilatih pada sejumlah besar teks, dan mereka tidak dapat memahami dunia sebenar.

Model ini tidak boleh merancang mahupun membuat alasan, mereka hanya mempunyai keupayaan untuk mempelajari konteks

Seriusnya, kecerdasan buatan yang dilatih pada LLM ini hampir tidak mempunyai "kecerdasan" sama sekali.

Apa yang LeCun nantikan ialah "model dunia" yang boleh membawa kepada AGI.

Model dunia boleh mempelajari cara dunia berfungsi, belajar dengan lebih cepat, merancang untuk menyelesaikan tugas yang rumit dan bertindak balas terhadap situasi baharu yang tidak dikenali pada bila-bila masa.

🎜

Ini berbeza daripada LLM yang memerlukan banyak pra-latihan Model dunia boleh mencari corak daripada pemerhatian, menyesuaikan diri dengan persekitaran baharu dan menguasai kemahiran baharu seperti manusia.

Meta berusaha untuk pembangunan model yang pelbagai Berbanding dengan strategi penambahbaikan dan pendalaman berterusan OpenAI dalam bidang LLM

Pada 14 Jun tahun ini, Meta mengeluarkan model kecerdasan buatan I-JEPA It juga merupakan model AI pertama dalam sejarah berdasarkan bahagian penting visi model dunia LeCun.

Sila klik pautan berikut untuk melihat kertas kerja: https://arxiv.org/abs/2301.08243

I-JEPA dapat memahami representasi abstrak dalam imej dan memperoleh akal melalui diri sendiri pembelajaran diselia

I-JEPA tidak memerlukan pengetahuan pengeluaran manual tambahan sebagai bantuan

Seterusnya, Meta melancarkan Voicebox, sistem penjanaan pertuturan inovatif baharu berdasarkan kaedah baharu yang dicadangkan oleh Meta AI - pemadanan aliran

Ia boleh mensintesis pertuturan dalam enam bahasa, melakukan operasi seperti denoising, mengedit kandungan dan menukar gaya audio.

Meta juga mengeluarkan ejen AI terkandung universal

Melalui penyelarasan kemahiran berpandukan bahasa (LSC), robot boleh bergerak dan mengambil item secara bebas dalam persekitaran pra-peta tertentu

dalam multi-

pembangunan model modal, Meta mempunyai ciri unik:

ImageBind, model kecerdasan buatan pertama yang boleh mengikat maklumat daripada enam modaliti berbeza. . membenarkan robot memperoleh pelbagai kemahiran bukan remeh dan menyamaratakannya kepada beratus-ratus senario kehidupan.

Data untuk semua senario ini adalah susunan magnitud yang kurang daripada kerja sebelumnya dalam bidang ini

Mengenai model yang didedahkan kali ini, beberapa netizen menyatakan harapan mereka akan terus membuka kod sumber.

Namun, sesetengah netizen berkata Meta tidak akan memulakan latihan sehingga awal tahun 2024

Tetapi apa yang menggembirakan ialah Meta masih mengeluarkan isyarat bahawa ia akan terus berpegang kepada strategi asal.

Atas ialah kandungan terperinci Meta merancang untuk mengeluarkan versi sumber terbuka baharu bagi model besar tahap GPT-4 tahun hadapan bilangan parameternya akan menjadi beberapa kali ganda berbanding Llama 2, dan pengguna boleh menggunakannya secara komersil secara percuma.. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!