Gunakan ChatGPT kurang dan sokong sumber terbuka lebih banyak! Profesor Nature Universiti New York menulis: Untuk masa depan sains

ChatGPT percuma bagus untuk digunakan, tetapi kelemahan terbesar model bahasa sumber tertutup ini ialah ia bukan sumber terbuka Dunia luar tidak dapat memahami data latihan di belakangnya dan sama ada ia akan membocorkan privasi pengguna Ini juga telah menyebabkan isu-isu seperti Selepas itu, industri dan akademia bersama-sama membuka sumber siri model alpaka seperti LLaMA.

Baru-baru ini, lajur Nature Worldview menerbitkan artikel di mana Arthur Spirling, profesor politik dan sains data di Universiti New York, menyeru semua orang untuk menggunakan lebih banyak model sumber terbuka Keputusan percubaan boleh diterbitkan semula, dan Mematuhi etika akademik.

Intinya, jika suatu hari OpenAI menjadi tidak berpuas hati dan menutup antara muka model bahasa, atau jika ia bergantung pada monopoli tertutup untuk menaikkan harga, maka pengguna hanya boleh mengatakan satu ayat yang tidak berdaya, "Akhirnya akademi kalah modal" .

Penulis artikel, Arthur Spirling, akan menyertai Universiti Princeton pada Julai tahun ini untuk mengajar sains politik hala tuju penyelidikan utama ialah metodologi politik dan tingkah laku Perundangan, khususnya aplikasi teks-sebagai-data, pemprosesan bahasa semula jadi, statistik Bayesian, pembelajaran mesin, teori tindak balas item, dan model linear umum dalam sains politik.

Penyelidik harus mengelakkan godaan model komersial dan bersama-sama membangunkan model bahasa berskala besar yang telus untuk memastikan kebolehulangan.

Peluk sumber terbuka dan tolak monopoli

Nampaknya model bahasa berskala besar (LLM) baharu dilancarkan setiap hari, dan penciptanya serta orang yang berkaitan dalam akademik akan mengulas tentang bagaimana model baharu setiap masa Keupayaan untuk berkomunikasi dengan lancar dengan manusia adalah murah hati, contohnya, anda boleh membantu pengguna menukar kod, menulis surat cadangan, menulis ringkasan untuk artikel, dsb.

Sebagai ahli politik dan saintis data yang menggunakan dan mengajar cara menggunakan model ini, saya fikir ahli akademik harus berhati-hati kerana model bahasa yang paling popular pada masa ini kekal tertutup dan Tertutup, iaitu, dikendalikan oleh syarikat, mereka tidak akan mendedahkan maklumat khusus tentang model asas dan hanya akan menyemak atau mengesahkan keupayaan model secara bebas, jadi penyelidik dan orang ramai tidak mengetahui fail yang digunakan untuk melatih model tersebut.

Tergesa-gesa untuk memasukkan model bahasa ke dalam proses penyelidikan sendiri boleh menyebabkan masalah dan boleh mengancam kemajuan yang sukar dicapai dalam "etika penyelidikan" dan "kebolehulangan hasil".

Kita bukan sahaja tidak boleh bergantung pada model komersial, penyelidik juga mesti bekerjasama untuk membangunkan model bahasa berskala besar sumber terbuka yang telus dan tidak bergantung kepada kepentingan syarikat tertentu.

Walaupun model komersil sangat mudah dan boleh digunakan di luar kotak, melabur dalam model bahasa sumber terbuka ialah trend sejarah Kita bukan sahaja perlu mencari cara untuk menggalakkan pembangunan, tetapi juga mengaplikasikan model untuk penyelidikan masa hadapan.

Saya secara optimis menganggarkan bahawa masa depan alat model bahasa mestilah sumber terbuka, sama seperti sejarah pembangunan perisian statistik sumber terbuka sangat popular pada mulanya, tetapi sekarang pada asasnya semua komuniti Semua menggunakan platform sumber terbuka seperti R atau Python.

Sebagai contoh, model bahasa sumber terbuka BLOOM telah dikeluarkan pada Julai tahun lepas Pasukan pembangunannya Hugging Face ialah sebuah syarikat kecerdasan buatan yang beribu pejabat di New York, bekerja bersama lebih daripada seribu. sukarelawan dan penyelidik Ia dibina secara bersama oleh orang ramai, dan sebahagian daripada dana penyelidikan dan pembangunan disediakan oleh kerajaan Perancis, pasukan lain juga bekerja keras untuk membuka model bahasa besar;

Saya rasa projek sumber terbuka seperti ini bagus, tetapi kami masih memerlukan lebih banyak kerjasama dan pengumpulan sumber dan kepakaran antarabangsa.

Pasukan yang menggunakan model bahasa berskala besar sumber terbuka biasanya tidak dibiayai dengan baik seperti syarikat besar, dan pasukan pembangunan juga perlu meneruskan operasi untuk menjejaki kemajuan terkini dalam bidang: bidang AI berkembang terlalu pantas Malah kebanyakan model bahasa menjadi usang minggu atau bulan selepas ia diperkenalkan.

Jadi lebih ramai cendekiawan terlibat dalam sumber terbuka, lebih baik model sumber terbuka akhir akan menjadi.

Menggunakan LLM sumber terbuka adalah penting untuk "penyelidikan boleh diterbitkan semula" kerana pemilik model bahasa komersial sumber tertutup boleh menukar produk atau data latihan mereka pada bila-bila masa, yang berpotensi menyebabkan Tukar hasil model yang dihasilkan .

Sebagai contoh, kumpulan penyelidikan mungkin menerbitkan ujian kertas sama ada perkataan yang dicadangkan oleh model bahasa komersial boleh membantu doktor berkomunikasi dengan lebih berkesan dengan pesakit jika kumpulan lain cuba meniru kajian itu, siapa Adakah anda tahu sama ada asas; data latihan model adalah sama seperti pada masa itu? Malah sama ada model itu masih beroperasi tidak diketahui.

GPT-3, alat bantu yang biasa digunakan oleh penyelidik pada masa lalu, telah digantikan dengan GPT-4 Semua penyelidikan berdasarkan antara muka GPT-3 berkemungkinan tidak dapat melakukannya diterbitkan semula pada masa hadapan Bagi syarikat, mengekalkan model lama tidak menjadi keutamaan.

Sebaliknya, menggunakan LLM sumber terbuka, penyelidik boleh melihat seni bina dalaman model, berat, memahami cara model dijalankan, menyesuaikan kod dan menunjukkan ralat ini termasuk Model Boleh Laras parameter dan data untuk melatih model, penglibatan komuniti dan pengawasan semuanya membantu memastikan model ini teguh dalam jangka panjang.

Penggunaan model bahasa komersial dalam penyelidikan saintifik juga mempunyai kesan negatif terhadap etika penyelidikan kerana teks yang digunakan untuk melatih model ini tidak diketahui dan mungkin termasuk pengguna pada platform media sosial atau kandungan yang ditulis oleh kanak-kanak.

Walaupun orang yang menghasilkan teks awam mungkin telah bersetuju dengan syarat perkhidmatan platform, ini mungkin bukan standard persetujuan termaklum yang ingin dilihat oleh penyelidik.

Pada pendapat saya, saintis harus menjauhkan diri daripada menggunakan model ini dalam kerja mereka sebanyak mungkin. Kita harus bergerak untuk membuka model bahasa dan mempromosikannya kepada orang lain.

Selain itu, saya tidak fikir ahli akademik, terutamanya mereka yang mempunyai pengikut media sosial yang ramai, harus mendorong orang lain untuk menggunakan model yang tersedia secara komersial, seolah-olah harga meningkat, atau syarikat gulung tikar, penyelidik mungkin saya akan menyesal mempromosikan teknologi kepada rakan sekerja saya.

Penyelidik kini boleh beralih kepada model bahasa terbuka yang dihasilkan oleh organisasi swasta, seperti LLaMA, yang bersumberkan terbuka oleh syarikat induk Facebook Meta Ia pada mulanya dikeluarkan berdasarkan aplikasi dan semakan pengguna, tetapi Versi penuh model itu kemudiannya dibocorkan dalam talian; ia juga mungkin menggunakan model bahasa terbuka Meta OPT-175 B Mercy, ini adalah keadaan yang tidak menentu.

Selain itu, perlu ada tatakelakuan akademik untuk bekerja dengan model bahasa, serta langkah pengawalseliaan yang sepadan, tetapi ini semua mengambil masa, dan berdasarkan pengalaman saya sebagai ahli politik saintis, saya menjangkakan bahawa peraturan ini akan menjadi sangat tidak sempurna pada mulanya dan akan perlahan untuk berkuat kuasa.

Pada masa yang sama, sokongan amat diperlukan untuk projek kerjasama berskala besar untuk melatih model bahasa sumber terbuka untuk penyelidikan, seperti CERN, Pertubuhan Antarabangsa bagi Fizik Zarah, Kerajaan harus meningkatkan pembiayaan melalui geran.

Bidang ini berkembang pada kelajuan kilat dan penyelarasan sokongan domestik dan antarabangsa perlu dimulakan sekarang.

Komuniti saintifik perlu dapat menilai risiko model yang terhasil, dan keluaran kepada orang ramai perlu berhati-hati, tetapi jelas bahawa persekitaran terbuka adalah perkara yang betul untuk buat.

Atas ialah kandungan terperinci Gunakan ChatGPT kurang dan sokong sumber terbuka lebih banyak! Profesor Nature Universiti New York menulis: Untuk masa depan sains. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!