Dalam era model besar, NTU Zhou Zhihua terlibat dalam mempelajari perisian, dan kertas kerja terbarunya dalam talian

Pembelajaran mesin telah mencapai kejayaan besar dalam pelbagai bidang, dan sejumlah besar model pembelajaran mesin berkualiti tinggi terus muncul. Namun, bukan mudah untuk pengguna biasa mencari model yang sesuai dengan tugasan mereka, apatah lagi membina model baharu dari awal. Untuk menyelesaikan masalah ini, Profesor Zhou Zhihua dari Universiti Nanjing mencadangkan paradigma yang dipanggil "perkakas pembelajaran". Melalui idea model dan peraturan, pasaran perisian pembelajaran (kini dipanggil sistem asas perisian pembelajaran) telah dibina untuk membolehkan pengguna untuk bersatu Pilih dan gunakan model untuk memenuhi keperluan anda. Kini, paradigma perisian pembelajaran telah memulakan platform asas sumber terbuka pertamanya, bernama Beimingwu. Platform ini akan menyediakan pengguna perpustakaan model yang kaya dan alatan penggunaan, menjadikannya lebih mudah dan lebih cekap untuk menggunakan dan menyesuaikan model pembelajaran mesin. Melalui Beimingwu, pengguna boleh menggunakan kuasa pembelajaran mesin dengan lebih baik untuk menyelesaikan pelbagai masalah praktikal.

Dalam paradigma pembelajaran mesin klasik, untuk melatih model berprestasi tinggi dari awal, sejumlah besar data berkualiti tinggi, pengalaman pakar dan sumber pengkomputeran diperlukan, yang sudah pasti memakan masa , tugas intensif buruh dan mahal. Selain itu, terdapat juga beberapa masalah dalam menggunakan semula model sedia ada. Sebagai contoh, sukar untuk menyesuaikan model terlatih khusus kepada persekitaran yang berbeza, dan pelupaan bencana mungkin berlaku semasa penambahbaikan beransur-ansur model terlatih. Oleh itu, kita perlu mencari cara yang lebih cekap dan fleksibel untuk menangani cabaran ini.

Isu privasi dan pemilikan data bukan sahaja menghalang perkongsian pengalaman dalam kalangan pembangun, tetapi juga mengehadkan keupayaan aplikasi model besar dalam senario sensitif data. Penyelidikan sering memberi tumpuan kepada isu-isu ini, tetapi dalam amalan ia sering berlaku serentak dan mempengaruhi satu sama lain.

Dalam bidang pemprosesan bahasa semula jadi dan penglihatan komputer, walaupun paradigma pembangunan model besar arus perdana telah mencapai pencapaian yang luar biasa, beberapa isu penting masih belum diselesaikan. Isu ini termasuk tugas dan senario tidak terancang tanpa had, perubahan berterusan dalam persekitaran, pelupaan bencana, keperluan sumber yang tinggi, kebimbangan privasi, keperluan penggunaan setempat dan keperluan untuk pemperibadian dan penyesuaian. Oleh itu, membina model besar yang sepadan untuk setiap tugas yang berpotensi adalah penyelesaian yang tidak praktikal. Cabaran ini memerlukan kami mencari kaedah dan strategi baharu untuk ditangani, seperti mengguna pakai seni bina model yang lebih fleksibel dan boleh disesuaikan, dan menggunakan teknik seperti pembelajaran pemindahan dan pembelajaran tambahan untuk menyesuaikan diri dengan perubahan dalam tugasan dan persekitaran yang berbeza. Hanya dengan menyepadukan pelbagai pendekatan dan strategi kita boleh menyelesaikan masalah kompleks ini dengan lebih baik.

Untuk menyelesaikan tugas pembelajaran mesin, Profesor Zhou Zhihua dari Universiti Nanjing mencadangkan konsep perisian pembelajaran pada tahun 2016. Beliau mencipta paradigma baharu berdasarkan perisian pembelajaran dan mencadangkan sistem dok perisian pembelajaran sebagai platform asas. Matlamat sistem ini adalah untuk menyesuaikan model pembelajaran mesin yang dikemukakan oleh pembangun di seluruh dunia secara seragam, dan menggunakan keupayaan model untuk menyelesaikan tugasan baharu berdasarkan keperluan tugasan bakal pengguna. Inovasi ini membawa kemungkinan dan peluang baharu kepada bidang pembelajaran mesin.

Reka bentuk teras paradigma perisian pembelajaran ialah ini: untuk model berkualiti tinggi daripada tugasan yang berbeza, perisian pembelajaran ialah unit asas dengan format bersatu. Perisian pembelajaran termasuk model itu sendiri dan spesifikasi yang menerangkan ciri-ciri model dalam beberapa perwakilan. Pembangun boleh menyerahkan model secara bebas, dan sistem dok pembelajaran akan membantu dalam menjana spesifikasi dan menyimpan perisian pembelajaran dalam dok pembelajaran. Dalam proses ini, pembangun tidak perlu mendedahkan data latihan mereka kepada dok pembelajaran. Pada masa hadapan, pengguna boleh menyerahkan keperluan kepada sistem asas perisian pembelajaran dan menyelesaikan tugas pembelajaran mesin mereka sendiri dengan mencari dan menggunakan semula perisian pembelajaran tanpa membocorkan data mereka sendiri kepada sistem perisian pembelajaran. Reka bentuk ini menjadikan perkongsian model dan penyelesaian tugas lebih cekap, mudah dan peribadi.

Untuk mewujudkan platform penyelidikan saintifik awal untuk paradigma perisian pembelajaran, pasukan Profesor Zhou Zhihua baru-baru ini membina Beimingwu, yang merupakan sistem asas perisian pembelajaran sumber terbuka pertama untuk penyelidikan paradigma perisian pembelajaran masa hadapan. Kertas kerja berkaitan telah diterbitkan dan sepanjang 37 muka surat.

Di peringkat teknikal, sistem Beimingwu telah meletakkan asas untuk algoritma dan penyelidikan sistem berkaitan perisian akademik masa depan melalui reka bentuk seni bina sistem dan enjin berskala serta pelaksanaan dan pengoptimuman kejuruteraan yang meluas. Selain itu, sistem ini juga menyepadukan algoritma garis dasar proses penuh dan membina senario penilaian algoritma asas. Ciri-ciri ini bukan sahaja membolehkan sistem menyediakan sokongan untuk perisian pembelajaran, tetapi juga menyediakan kemungkinan untuk mengehoskan sejumlah besar perisian pembelajaran dan mewujudkan ekosistem perisian pembelajaran. . /

Gudang sumber terbuka Beimingwu: https://www.gitlink.org.cn/beimingwu/beimingwu

• Gudang sumber terbuka enjin teras: https://www.gitlink.org.cn/beimingwu /learnware

• Dalam artikel ini, sumbangan pengkaji boleh diringkaskan seperti berikut:

• Berdasarkan paradigma perisian pembelajaran, ia memudahkan pembangunan model untuk pengguna menyelesaikan tugasan baharu: ia mencapai kecekapan data, tidak memerlukan pengetahuan pakar dan tidak membocorkan data asal

• Mencadangkan sistem yang lengkap, bersatu dan berskala; reka bentuk seni bina enjin;

• Membangunkan sistem asas perisian pembelajaran sumber terbuka dengan antara muka pengguna bersatu

• Digunakan untuk pelaksanaan dan penilaian algoritma garis dasar penuh dalam senario yang berbeza.

Tinjauan Keseluruhan Paradigma Perisian Pembelajaran

Paradigma Perisian Pembelajaran telah dicadangkan oleh pasukan Profesor Zhou Zhihua pada tahun 2016, dan diringkaskan serta direka bentuk selanjutnya dalam kertas kerja 2024 "Perisian Pembelajaran: model kecil melakukan yang besar". Proses dipermudahkan paradigma ini ditunjukkan dalam Rajah 1 di bawah: Untuk model pembelajaran mesin berkualiti tinggi dari sebarang jenis dan struktur, pembangun atau pemiliknya boleh secara sukarela menyerahkan model terlatih kepada sistem asas pembelajaran (dahulunya dikenali sebagai sistem asas pembelajaran) .



Seperti yang diperkenalkan di atas, paradigma perisian pembelajaran mencadangkan untuk mewujudkan sistem asas perisian pembelajaran untuk menampung secara seragam, menyusun dan menggunakan model sedia ada yang berprestasi baik, dengan itu memanfaatkan usaha yang seragam daripada semua komuniti untuk menyelesaikan tugas pengguna baharu, dan pada masa yang sama boleh menyelesaikan beberapa isu utama yang membimbangkan, termasuk kekurangan data latihan dan kemahiran latihan, melupakan bencana, kesukaran untuk mencapai pembelajaran berterusan, privasi data atau proprietari, tugas baharu yang tidak dirancang di dunia terbuka, dan penduaan dan pembaziran pelepasan Karbon yang disebabkan oleh latihan, dsb.

Baru-baru ini, paradigma perisian pembelajaran dan idea terasnya semakin mendapat perhatian. Tetapi persoalan utama dan cabaran utama ialah ini: memandangkan sistem asas pembelajaran boleh memuatkan beribu-ribu malah berjuta-juta model, bagaimana untuk mengenal pasti dan memilih bahagian pembelajaran atau set bahagian pembelajaran yang paling membantu untuk tugas pengguna baharu? Jelas sekali, menyerahkan data pengguna terus ke dalam sistem untuk percubaan adalah mahal dan mendedahkan data asal pengguna.

Reka bentuk teras paradigma pembelajaran terletak pada protokol Penyelidikan terkini adalah berdasarkan protokol min kernel terkurang (RKME).

Walaupun penyelidikan analisis teori dan empirikal yang sedia ada telah membuktikan keberkesanan pengenalpastian perisian pembelajaran berasaskan protokol, pelaksanaan sistem asas perisian pembelajaran masih hilang dan menghadapi cabaran besar Reka bentuk seni bina baharu berdasarkan protokol diperlukan untuk menghadapi kepelbagaian berorientasikan sebenar -tugas dan model dunia, dan mencari dan menggunakan semula sebilangan besar bahan pembelajaran secara seragam berdasarkan keperluan tugas pengguna.

Penyelidik membina sistem asas perisian pembelajaran pertama - Beimingwu, yang menyediakan sokongan untuk keseluruhan proses termasuk penyerahan, ujian kebolehgunaan, organisasi, pengurusan, pengenalan, penggunaan dan penggunaan semula perisian pembelajaran.

Gunakan Beimingwu untuk menyelesaikan tugas pembelajaran

Berdasarkan pelaksanaan sistem pertama paradigma perisian pembelajaran, Beimingwu memudahkan proses membina model pembelajaran mesin untuk tugasan baharu dengan ketara. Kini, kita boleh membina model mengikut proses paradigma perisian pembelajaran. Dan mendapat manfaat daripada struktur perisian pembelajaran bersatu, reka bentuk seni bina bersatu dan antara muka pengguna bersatu, semua model yang diserahkan di Beimingwu mencapai pengenalan dan penggunaan semula bersatu.

Perkara yang menarik ialah diberikan tugas pengguna baharu, jika Beimingwu mempunyai perisian pembelajaran yang boleh menyelesaikan tugasan ini, pengguna boleh mendapatkan dan menggunakan model berkualiti tinggi di dalamnya dengan mudah dengan hanya beberapa baris kod, tidak memerlukan sejumlah besar data dan pengetahuan pakar, dan tidak akan membocorkan data mentah anda sendiri.

Rajah 2 di bawah ialah contoh kod untuk menggunakan Beimingwu untuk menyelesaikan tugasan pembelajaran.



Rajah 3 di bawah menunjukkan keseluruhan aliran kerja menggunakan Beimingwu, termasuk penjanaan spesifikasi statistik, pengenalan bahagian pembelajaran, pemuatan dan penggunaan semula. Berdasarkan pelaksanaan kejuruteraan dan reka bentuk antara muka bersatu, setiap langkah boleh direalisasikan melalui barisan kod utama.



Pengkaji berkata bahawa semasa menyelesaikan tugasan pembelajaran, proses pembangunan model menggunakan paradigma perisian pembelajaran berdasarkan Beimingwu mempunyai kelebihan ketara berikut:

• Tidak memerlukan jumlah data dan sumber pengkomputeran yang besar

;

• Tidak memerlukan banyak kepakaran pembelajaran mesin;

• Menyediakan penggunaan tempatan yang bersatu dan mudah untuk pelbagai model

• Perlindungan privasi: tidak membocorkan data asal pengguna.

Pada masa ini, Beimingwu hanya mempunyai 1,100 alat pembelajaran yang dibina pada set data sumber terbuka pada peringkat awal Ia tidak merangkumi banyak senario, dan keupayaannya untuk mengendalikan sejumlah besar senario khusus dan tidak kelihatan masih terhad. Berdasarkan reka bentuk seni bina berskala, Beimingwu boleh digunakan sebagai platform penyelidikan untuk paradigma perisian pembelajaran, menyediakan pelaksanaan algoritma yang mudah dan reka bentuk eksperimen untuk penyelidikan berkaitan perisian pembelajaran.

Pada masa yang sama, bergantung pada pelaksanaan asas dan sokongan seni bina berskala, bahan pembelajaran yang dihantar secara berterusan dan algoritma yang dipertingkatkan secara berterusan akan terus meningkatkan keupayaan sistem untuk menyelesaikan tugas, dan meningkatkan penggunaan semula sistem bagi model terlatih sedia ada untuk menyelesaikan masalah di luar capaian pembangun Keupayaan untuk melaksanakan tugas baharu pada sasaran asal. Pada masa hadapan, evolusi berterusan sistem asas perisian pembelajaran akan membolehkan mereka bertindak balas terhadap peningkatan bilangan tugas pengguna tanpa melupakan bencana dan secara semula jadi membolehkan pembelajaran sepanjang hayat.

Reka Bentuk Beimingwu

Bahagian 4 kertas kerja memperkenalkan reka bentuk sistem Beimingwu. Seperti yang ditunjukkan dalam Rajah 4, keseluruhan sistem merangkumi empat peringkat: penyimpanan perisian pembelajaran, enjin sistem, latar belakang sistem dan antara muka pengguna. Bahagian ini mula-mula memperkenalkan gambaran keseluruhan setiap lapisan, kemudian memperkenalkan enjin teras sistem berdasarkan reka bentuk protokol, dan akhirnya memperkenalkan algoritma yang dilaksanakan dalam sistem.



Mula-mula, mari kita lihat gambaran keseluruhan setiap lapisan:

Lapisan Storan Perisian Pembelajaran. Di Beimingwu, bahan pembelajaran disimpan dalam pakej termampat. Pakej termampat ini terutamanya termasuk empat jenis fail: fail model, fail spesifikasi, fail pergantungan persekitaran pelaksanaan model dan fail konfigurasi perisian pembelajaran.

Pakej mampat perisian pembelajaran ini diuruskan secara berpusat oleh pangkalan data perisian pembelajaran. Jadual item pembelajaran dalam pangkalan data menyimpan maklumat utama, termasuk ID item pembelajaran, laluan penyimpanan dan status item pembelajaran (seperti tidak disahkan dan disahkan). Pangkalan data ini menyediakan antara muka bersatu untuk enjin teras seterusnya Beimingwu untuk mengakses maklumat pembelajaran.

Selain itu, pangkalan data boleh dibina menggunakan SQLite (sesuai untuk persediaan mudah dalam pembangunan dan persekitaran eksperimen) atau PostgreSQL (disyorkan untuk penggunaan yang stabil dalam persekitaran pengeluaran), kedua-duanya menggunakan antara muka yang sama.

Lapisan teras enjin. Untuk mengekalkan kesederhanaan dan struktur Beimingwu, penulis mengasingkan komponen teras dan algoritma daripada sejumlah besar butiran kejuruteraan. Komponen yang diekstrak ini kini boleh digunakan sebagai pakej perisian python pembelajaran, yang merupakan enjin teras Beimingwu.

Sebagai teras sistem, enjin ini merangkumi semua proses dalam paradigma perisian pembelajaran, termasuk penyerahan perisian pembelajaran, ujian kebolehgunaan, organisasi, pengenalan, penggunaan dan penggunaan semula. Ia berjalan secara bebas daripada latar belakang dan latar depan, serta menyediakan antara muka algoritma yang komprehensif untuk mempelajari tugas berkaitan perisian dan eksperimen penyelidikan.

Selain itu, spesifikasi ialah komponen teras enjin, mewakili setiap model dari perspektif semantik dan statistik, dan menghubungkan pelbagai komponen penting dalam sistem perisian pembelajaran. Sebagai tambahan kepada spesifikasi yang dijana apabila pembangun menyerahkan model, enjin juga boleh menggunakan pengetahuan sistem untuk menjana spesifikasi sistem baharu untuk perisian pembelajaran, dengan itu meningkatkan pengurusan perisian pembelajaran dan mencirikan lagi keupayaannya.

Platform pengurusan model sedia ada, seperti Hugging Face, hanya mengumpul dan mengehoskan model secara pasif, membolehkan pengguna memutuskan sendiri keupayaan model dan kaitannya dengan tugas. Sebaliknya, Beimingwu menggunakan enjinnya untuk mencipta model baharu sepenuhnya seni bina sistem secara proaktif mengurus bahan pembelajaran. Pengurusan aktif ini tidak terhad kepada pengumpulan dan penyimpanan Sistem ini mengatur bahan pembelajaran mengikut protokol, boleh memadankan bahan pembelajaran yang berkaitan mengikut keperluan tugas pengguna, dan menyediakan kaedah penggunaan semula dan penggunaan perisian pembelajaran yang sepadan.

Reka bentuk modul teras adalah seperti berikut:



Lapisan belakang sistem. Untuk mencapai penggunaan Beimingwu yang stabil, penulis membangunkan bahagian belakang sistem berdasarkan lapisan enjin teras. Melalui reka bentuk berbilang modul dan sejumlah besar pembangunan kejuruteraan, Beimingwu kini mempunyai keupayaan untuk menggunakan secara stabil dalam talian, menyediakan antara muka program aplikasi bahagian belakang bersatu untuk bahagian hadapan dan pelanggan.

Untuk memastikan operasi sistem yang cekap dan stabil, penulis telah menjalankan beberapa pengoptimuman kejuruteraan dalam lapisan hujung belakang sistem, termasuk pengesahan perisian pembelajaran tak segerak, konkurensi tinggi merentas berbilang nod hujung belakang, pengurusan kebenaran peringkat antara muka, hujung belakang pemisahan baca-tulis pangkalan data, dan data sistem Sandaran automatik.

Lapisan Antara Muka Pengguna. Untuk memudahkan penggunaan pengguna Beimingwu, penulis membangunkan lapisan antara muka pengguna yang sepadan, termasuk pelayar berasaskan rangkaian bahagian hadapan dan pelanggan baris arahan.

Halaman hadapan berasaskan web menyediakan kedua-dua versi pengguna dan pentadbir, menyediakan pelbagai interaksi pengguna dan halaman pengurusan sistem. Selain itu, ia menyokong penggunaan berbilang nod untuk akses lancar kepada sistem Beimingwu.

Pelanggan baris arahan disepadukan dengan pakej python perisian pembelajaran. Dengan memanggil antara muka yang sepadan, pengguna boleh memanggil API dalam talian bahagian belakang melalui bahagian hadapan untuk mengakses modul dan algoritma yang berkaitan bagi perisian pembelajaran.

Penilaian eksperimen

Dalam Bahagian 5, pengarang membina pelbagai jenis senario percubaan asas untuk menilai algoritma penanda aras untuk penjanaan spesifikasi, pengenalan perisian pembelajaran dan penggunaan semula pada jadual, imej dan data teks.

Percubaan Data Jadual

Pada pelbagai set data jadual, penulis terlebih dahulu menilai prestasi mengenal pasti dan menggunakan semula perisian pembelajaran daripada sistem perisian pembelajaran yang mempunyai ruang ciri yang sama dengan tugas pengguna. Di samping itu, memandangkan tugas jadual biasanya datang dari ruang ciri yang berbeza, pengarang juga menilai pengenalpastian dan penggunaan semula artifak pembelajaran daripada ruang ciri yang berbeza.

Kes Homogen

Dalam kes homogen, 53 stor dalam set data PFS bertindak sebagai 53 pengguna bebas. Setiap kedai menggunakan data ujiannya sendiri sebagai data tugas pengguna dan menggunakan pendekatan kejuruteraan ciri bersatu. Pengguna ini kemudiannya boleh mencari sistem asas untuk item pembelajaran homogen yang berkongsi ruang ciri yang sama dengan tugas mereka.

Apabila pengguna tidak mempunyai data berlabel atau jumlah data berlabel adalah terhad, pengarang membandingkan algoritma garis dasar yang berbeza, dan purata kehilangan semua pengguna ditunjukkan dalam Rajah 6. Jadual kiri menunjukkan bahawa pendekatan tanpa data adalah lebih baik daripada memilih dan menggunakan perisian pembelajaran secara rawak daripada pasaran, carta yang betul menunjukkan bahawa apabila pengguna mempunyai data latihan yang terhad, mengenal pasti dan menggunakan semula perisian pembelajaran tunggal atau berbilang adalah lebih baik daripada terlatih pengguna; prestasi yang lebih baik.



Kes heterogen

Berdasarkan persamaan antara perisian di pasaran dan tugas pengguna, kes heterogen boleh dibahagikan lagi kepada kejuruteraan ciri yang berbeza dan senario tugas yang berbeza.

Senario kejuruteraan ciri yang berbeza: Keputusan yang ditunjukkan di sebelah kiri Rajah 7 menunjukkan bahawa walaupun pengguna kekurangan data anotasi, perisian pembelajaran dalam sistem boleh menunjukkan prestasi yang kukuh, terutamanya kaedah AverageEnsemble yang menggunakan semula pelbagai perisian pembelajaran.



Senario misi yang berbeza. Bahagian kanan Rajah 7 menunjukkan keluk kerugian model terlatih kendiri pengguna dan beberapa kaedah penggunaan semula perkakas pembelajaran. Jelas sekali, pengesahan eksperimen bagi komponen pembelajaran heterogen adalah bermanfaat apabila jumlah data beranotasi pengguna adalah terhad dan membantu untuk menjajarkan dengan lebih baik dengan ruang ciri pengguna.

Eksperimen data imej dan teks

Selain itu, penulis menjalankan penilaian asas sistem pada set data imej.

Rajah 8 menunjukkan bahawa memanfaatkan sistem asas pembelajaran boleh menghasilkan prestasi yang baik apabila pengguna menghadapi kekurangan data beranotasi atau hanya mempunyai jumlah data yang terhad (kurang daripada 2000 kejadian).



Akhir sekali, penulis menjalankan penilaian asas sistem pada set data teks penanda aras. Penjajaran ruang ciri melalui pengekstrak ciri bersatu.

Hasilnya ditunjukkan dalam Rajah 9. Sekali lagi, walaupun tiada data anotasi disediakan, prestasi yang dicapai melalui pengenalan dan penggunaan semula perisian pembelajaran adalah setanding dengan perisian pembelajaran terbaik dalam sistem. Di samping itu, menggunakan sistem asas pembelajaran menghasilkan kira-kira 2000 sampel yang lebih sedikit berbanding dengan melatih model dari awal.



Untuk butiran penyelidikan lanjut, sila rujuk kertas asal.

Atas ialah kandungan terperinci Dalam era model besar, NTU Zhou Zhihua terlibat dalam mempelajari perisian, dan kertas kerja terbarunya dalam talian. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!