Berita tergempar: OpenAI akan membuka sumber model baharu! Adakah kemakmuran komuniti sumber terbuka bergantung sepenuhnya kepada 'amal' syarikat besar?

Sebentar tadi, menurut berita terkini daripada The Information, OpenAI bakal mengeluarkan model bahasa besar sumber terbuka baharu.

Walaupun tidak jelas sama ada OpenAI berhasrat untuk menggunakan model sumber terbuka yang akan datang untuk merebut bahagian pasaran Vicuna atau model sumber terbuka yang lain.

Tetapi hampir pasti keupayaan model baharu itu berkemungkinan besar tidak mampu bersaing dengan GPT-4 malah GPT-3.5.

Lagipun, penilaian $27 bilion juga menentukan bahawa model OpenAI yang paling maju akan digunakan untuk tujuan komersial, walaupun dua versi pertama GPT adalah sumber terbuka.

Seorang jurucakap OpenAI tidak menjawab permintaan untuk komen.

Letupan sumber terbuka keluarga alpaca

Sepuluh hari lalu, dokumen dalaman Google bocor. Dalam artikel bertajuk "Kami tidak mempunyai parit, dan begitu juga OpenAI", pengarang meratapi tamparan hebat yang telah dilakukan oleh sumber terbuka kepada Google dan OpenAI.

Sememangnya, Google mahupun OpenAI nampaknya tidak menjadi pemenang dalam perlumbaan senjata ini, kerana komuniti sumber terbuka memakan "faedah" yang milik mereka.

Pengeluaran ChatGPT mencetuskan revolusi LLM global. Walau bagaimanapun, OpenAI tidak Terbuka, dan banyak syarikat dan pembangun hanya boleh menonton dan bimbang.

Pada masa ini, Meta melangkah ke hadapan dan mengeluarkan LLaMA, yang membawa manfaat kepada pembangun di seluruh dunia.

Pada asalnya, Meta berjanji bahawa LLaMA akan menjadi sumber terbuka untuk kes penggunaan penyelidikan bukan komersial, tetapi siapa sangka hanya seminggu selepas dikeluarkan, berat LLaMA tiba-tiba bocor pada 4chan ia mencetuskan ribuan muat turun serta-merta.

"Kebocoran epik" ini secara langsung menukar bidang LLM sumber terbuka. Hanya dalam beberapa minggu, pelbagai penggantian ChatGPT telah meletup sepantas kilat.

Alpaca, Vicuna, Koala, ChatLLaMA, FreedomGPT, ColossalChat... Ia boleh dipanggil ledakan "keluarga alpaca".

Malah, jauh sebelum Yangtuo, model sumber terbuka telah menghancurkan cita-cita OpenAI.

Pada masa itu, Dall-E 2 yang baru dikeluarkan telah menimbulkan kekecohan di Internet dengan kesan grafik Vincentian yang menakjubkan.

Walau bagaimanapun, apabila OpenAI masih cuba menjual API, alternatif sumber terbuka tiba-tiba muncul - Stable Diffusion.

Dengan peningkatan pesat Stable Diffusion, Dall-E 2 dengan cepat dilupakan oleh pembangun.

Model besar sumber terbuka, adakah ia akan menumbangkan syarikat besar Silicon Valley?

Profesor komputer UC Berkeley, Ion Stoica adalah salah seorang sarjana yang menggunakan penyelidikan Meta untuk membangunkan Vicuna.

Untuk meningkatkan keupayaan Vicuna, Stoica dan rakan sekerja sedang berusaha untuk meningkatkan bilangan pengiraan dalam model, yang akan membantu dengan tugasan yang melibatkan inferens, seperti menulis kod.

Vicuna dibangunkan oleh pasukan Berkeley dengan belanjawan tahunan beberapa juta dolar, yang mana kira-kira $500,000 datang daripada syarikat awam termasuk Microsoft, Google dan Amazon.

Profesor komputer UC Berkeley, Ion Stoica berkata bahawa prestasi model AI percuma semasa adalah "agak hampir" dengan model proprietari Google dan OpenAI Tidak syak lagi kebanyakan pembangun akan memilih Model percuma.

Di satu pihak, model sumber terbuka membenarkan pembangun menggunakan data mereka sendiri untuk menyelesaikan masalah tertentu.

Sebaliknya, kos latihan model seperti Vicuna juga boleh serendah beberapa ratus dolar, dan tidak perlu membayar yuran penggunaan yang mahal kepada pengeluar besar.

https://www.php.cn/link/4d8bd3f7351f4fee76ba17594f070ddd

Jika Stoica betul, AI sumber terbuka pasti akan menumbangkan rancangan perniagaan Google, OpenAI, Microsoft dan syarikat utama lain yang menjual hak untuk menggunakan model proprietari.

Kualiti Vicuna dan letupan Cambrian sumber terbuka AI menyebabkan jurutera Google Luke Sernau memberi amaran kepada rakan sekerja bahawa Google terlalu menumpukan pada perisian proprietari dalam usahanya untuk mengejar OpenAI.

Jika alternatif percuma dan berkualiti tinggi tidak mempunyai sekatan penggunaan, siapa yang akan membayar untuk menggunakan produk Google dengan sekatan? AI sumber terbuka mengatasi kami, dan Google harus mewujudkan kepimpinannya dalam komuniti sumber terbuka dan melepaskan beberapa kawalan ke atas model kami.

Memo itu bergema dengan cepat di seluruh industri - walaupun Sernau mungkin telah melebih-lebihkan keupayaan AI sumber terbuka dan memandang rendah kos dan risiko mereka, kebanyakan Pengamal bersetuju bahawa Meta mempunyai potensi besar untuk mendapat manfaat daripada ini.

Sebagai contoh, Meta menggunakan model AI secara dalaman untuk pengesyoran kandungan dan kedudukan iklan Apabila pembangun menambah baik model Meta, Meta boleh memasukkan peningkatan ini ke dalam AI dalamannya sendiri.

Ketua Pegawai Eksekutif Meta Xiao Zha telah lama merancang perkara ini.

Pada bulan April, semasa panggilan persidangan dengan penganalisis, dia bercakap tentang strategi syarikat seperti ini -

Adalah lebih baik jika industri boleh menyeragamkan alat asas yang kami gunakan supaya kami boleh mendapat manfaat daripada penambahbaikan orang lain.

Google tidak menggunakan pendekatan proprietari sepenuhnya kepada perisian AI.

Kembali pada tahun 2020, Google mengeluarkan T5, model bahasa sumber terbuka yang membolehkan pembangun membina perisian yang boleh melaksanakan tugas terjemahan dan ringkasan. Selepas itu, Google mengeluarkan Flan-T5 yang lebih maju.

Walau bagaimanapun, menurut Stoica dan pengamal lain, perisian yang dikeluarkan oleh Meta mampu membuat penambahbaikan yang ketara pada model Google, yang menjadikan The possibility pembangun yang memilih model Meta meningkat dengan banyak.

Walau bagaimanapun, Stoica berkata bahawa Google masih mempunyai dua kelebihan dalam perisian sumber terbuka.

1. Jika Google memanfaatkan data penggunanya yang tidak terbuka kepada dunia luar, model itu mungkin berprestasi lebih baik dalam bidang profesional tertentu (seperti pengesyoran kandungan).

Walau bagaimanapun, jurucakap Google berkata bahawa syarikat itu tidak melatih model asasnya pada data pengguna sedia ada.

2. Kepakaran syarikat carian dalam menguruskan infrastruktur komputer berskala besar bermakna ia boleh menjalankan model pada kos yang lebih rendah, termasuk untuk pelanggan awan.

Pada masa yang sama, OpenAI mula mengumpul data tentang cara berjuta-juta orang berinteraksi dengan ChatGPT, yang akan membantu OpenAI menambah baik perisian AInya, apatah lagi kerjasamanya dengan protokol Microsoft.

Adakah kemakmuran sumber terbuka adalah "amal" daripada pengeluar besar?

Namun, kemakmuran seperti ini berdasarkan sumber terbuka adalah tidak stabil.

Kebanyakan sumber terbuka semasa masih bergantung pada model gergasi yang dikeluarkan oleh syarikat besar dengan poket yang dalam. Jika OpenAI dan Meta memutuskan untuk menutup operasi, komuniti sumber terbuka yang berkembang maju mungkin menjadi tertekan.

Sebagai contoh, banyak alternatif sumber terbuka kini dibina berdasarkan LLaMA Meta.

Sementara model lain menggunakan set data awam yang besar yang dipanggil Pile, disusun oleh EleutherAI bukan untung sumber terbuka.

EleutherAI wujud kerana keterbukaan OpenAI bermakna sekumpulan pembangun boleh membuat kejuruteraan terbalik cara GPT-3 dibuat dan kemudian mencipta model mereka sendiri pada masa lapang mereka.

Tetapi semuanya boleh berubah.

OpenAI tidak lagi Terbuka, dan Meta juga sedang mempertimbangkan untuk menyekat sumber terbuka untuk menghalang pemula daripada menggunakan kod sumber terbuka untuk melakukan perkara yang tidak baik.

Joelle Pineau, pengarah eksekutif Meta AI, berkata membuka kod kepada orang luar adalah perkara yang betul untuk dilakukan sekarang, tetapi dia tidak pasti bahawa Meta akan menggunakan strategi yang sama dalam lima tahun akan datang.

Jika trend penutupan ini berterusan, bukan sahaja komuniti sumber terbuka akan ditinggalkan, malah generasi penembusan AI seterusnya juga akan kembali ke makmal AI terbesar dan paling murah dalam tangan.

Jelas sekali, masa depan bagaimana model besar AI dihasilkan dan digunakan berada di persimpangan jalan.

Sekiranya OpenAI kedekut, tidak akan ada acara sumber terbuka hari ini

Yang lain juga berpendapat bahawa persaingan bebas sumber terbuka seperti ini membawa pulangan yang lebih besar, Ataupun risiko lebih besar.

Pada masa yang sama Meta AI mengeluarkan LLaMA, Hugging Face melancarkan mekanisme kawalan gerbang Sebelum memuat turun model pada platform, pengguna mesti memohon akses dan mendapatkan kelulusan mereka yang mempunyai Orang dengan alasan yang sah.

“Saya bukan penginjil sumber terbuka,” kata Margaret Mitchell, ketua saintis etika di Hugging Face. "Saya dapat melihat maksud tidak menjadi sumber terbuka."

Mitchell pernah bekerja di Google dan mengasaskan pasukan etika AI. Dia amat sedar tentang risiko penyalahgunaan model. Oleh itu, dia lebih suka Meta AI mengeluarkan model secara terkawal.

Pada masa yang sama, OpenAI turut mematikan paip. Apabila GPT-4 dikeluarkan, ia tidak mengumumkan butiran seperti seni bina (termasuk saiz model), perkakasan, pengiraan latihan, pembinaan set data, kaedah latihan, dll. Sebabnya adalah "memandangkan landskap kompetitif dan kesan keselamatan yang besar. -model berskala seperti GPT-4." .

Had ini mencerminkan perubahan dalam mentaliti OpenAI. Pengasas bersama dan ketua saintis Ilya Sutskever berkata keterbukaan OpenAI pada masa lalu adalah satu kesilapan.

Sandhini Agarwal, penyelidik dasar di OpenAI, berkata: “Sebelum ini, jika sesuatu adalah sumber terbuka, mungkin sekumpulan kecil pembetulkan akan mengambil berat tetapi kini, seluruh persekitaran telah berubah sumber benar-benar Boleh mempercepatkan pembangunan dan membawa kepada persaingan 》

Berbalik kepada tiga tahun lalu, jika OpenAI telah mematuhi prinsip yang sama semasa mengumumkan butiran GPT-3, tidak akan ada kemunculan EleutherAI, dan tidak akan ada inovasi sumber terbuka yang cergas.

Hari ini, EleutherAI memainkan peranan penting dalam ekosistem sumber terbuka. Pile digunakan untuk melatih berbilang projek sumber terbuka, termasuk StableLM Stability AI.

Tetapi dengan GPT-4, 5 dan 6 dikunci, komuniti sumber terbuka sekali lagi mungkin ketinggalan beberapa syarikat besar.

Mereka akan terperangkap dalam model generasi terdahulu dan hanya boleh melakukannya secara tertutup jika mereka mahu membuat kemajuan.

Atas ialah kandungan terperinci Berita tergempar: OpenAI akan membuka sumber model baharu! Adakah kemakmuran komuniti sumber terbuka bergantung sepenuhnya kepada 'amal' syarikat besar?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!