Pengiktirafan daripada Hadiah Pertama Anugerah Kemajuan Sains dan Teknologi: Tencent menyelesaikan masalah melatih model besar dengan trilion parameter

Senarai pemenang Anugerah Sains dan Teknologi China Electronics Society 2023 telah diumumkan Kali ini, kami menemui tokoh yang dikenali - Tencent Angel Machine Learning Platform.

Dengan perkembangan pesat model besar, Anugerah Sains dan Teknologi dianugerahkan kepada projek penyelidikan dan aplikasi platform pembelajaran mesin, mengesahkan sepenuhnya nilai dan kepentingan platform latihan model.

Anugerah Sains dan Teknologi mengiktiraf penyelidikan dan aplikasi projek platform pembelajaran mesin, terutamanya dalam konteks pembangunan pesat model berskala besar, dan mengiktiraf sepenuhnya nilai dan kepentingan platform latihan model.

Dengan peningkatan pembelajaran mendalam, syarikat utama telah mula menyedari kepentingan platform pembelajaran mesin dalam pembangunan teknologi kecerdasan buatan. Syarikat seperti Google, Microsoft dan Nvidia telah melancarkan platform pembelajaran mesin mereka sendiri untuk mempercepatkan proses latihan model kecerdasan buatan. Platform ini menyediakan pembangun dengan sokongan yang mudah, membolehkan mereka membina dan mengoptimumkan sistem kecerdasan buatan yang kompleks dengan lebih pantas. Trend ini telah mendorong orang ramai untuk memberi lebih perhatian kepada pembangunan teknologi pembelajaran mesin dan meletakkan asas yang kukuh untuk aplikasi kecerdasan buatan masa hadapan.

Bermula dari 2023, peningkatan model berskala besar akan menggalakkan lagi peningkatan dalam bilangan parameter model. Syarikat-syarikat besar telah melancarkan model dengan skala parameter mencecah ratusan bilion atau malah trilion, dan model ini secara amnya menggunakan struktur rangkaian saraf dalam. Walau bagaimanapun, perkembangan ini juga telah membawa dua titik kesakitan teras: kesukaran latihan model yang diedarkan dan cabaran reka bentuk model yang disebabkan oleh kerumitan aplikasi.

Mengapa Platform Pembelajaran Mesin Angel?

Penjelasan terperinci tentang empat penemuan teknologi teras

Jawatankuasa penilaian yang terdiri daripada beberapa ahli akademik dan pakar berwibawa lain percaya bahawa platform pembelajaran mesin Tencent Angel secara teknikalnya kompleks, sukar dibangunkan, inovatif, mempunyai prospek aplikasi yang luas, dan teknologi keseluruhan Ia telah mencapai tahap lanjutan antarabangsa, antaranya teknologi penjadualan cache dan pengurusan yang cekap untuk komunikasi semua-ke-semua, teknologi carian pra-persampelan adaptif dan struktur graf telah mencapai tahap terkemuka antarabangsa. Seni bina platform El Tencent Angel

Platform pembelajaran mesin Angel Tencent menggunakan seni bina pelayan parameter teragih ini dicirikan oleh dua tugas parameter model storan dan model pelaksanaan yang dijalankan pada pelayan yang berbeza. Dengan menambahkan lebih banyak pelayan, model yang lebih besar dengan keperluan pengiraan yang lebih tinggi boleh disokong. Seni bina ini menjadikan proses latihan model lebih cekap dan boleh mengendalikan set data berskala besar dan pengiraan model yang kompleks. Reka bentuk pelayan parameter teragih membolehkan sistem mempunyai skalabiliti dan fleksibiliti yang baik, dan boleh memenuhi tugas pembelajaran mesin dengan skala dan keperluan yang berbeza. Kelebihan seni bina ini ialah ia boleh menggunakan sumber kluster dengan berkesan, meningkatkan kecekapan pengkomputeran dan menyediakan pengguna dengan lebih pantas dan cekap

Menghadapi data besar-besaran dan keperluan latihan model berskala ultra besar, platform pembelajaran mesin Tencent Angel berada dalam rangkaian komunikasi dan caching, model Penemuan teknikal telah dicapai dalam bidang teras seperti penyimpanan dan penjadualan, model pelbagai mod dan pengisihan pembelajaran gabungan, dan model graf berskala besar dan teknologi carian struktur.

Untuk meningkatkan kecekapan latihan, model pembelajaran mesin peringkat TB biasanya menggunakan kaedah latihan teragih, yang memerlukan sejumlah besar parameter dan penyegerakan kecerunan Mengambil latihan kilokalori model 1.8T sebagai contoh, volum komunikasi IO mencapai 25TB, dan nisbah memakan masa 53%. Selain itu, ditambah pula dengan persekitaran rangkaian heterogen antara kelompok kuasa pengkomputeran yang berbeza dan kelewatan rangkaian komunikasi yang berbeza-beza, ini telah mengemukakan keperluan yang lebih tinggi untuk overhed komunikasi semasa latihan model. Platform pembelajaran mesin Tencent Angel adalah berdasarkan teknologi pengurusan penjadualan komunikasi dan cache yang cekap bagi rangkaian Tencent Cloud Xingmai, yang boleh menyelesaikan masalah overhed komunikasi tinggi secara berkesan untuk latihan model peringkat TB, mengurangkan masa komunikasi rangkaian sebanyak 80%, dan mencapai tahap teragih. prestasi latihan yang mencapai penyelesaian arus perdana dalam industri 2.5 kali.

Di bawah keadaan kuasa pengkomputeran semasa, walaupun model mencapai tahap TB, memori video GPU arus perdana masih hanya 80G, dan terdapat kesesakan dalam storan parameter. Sebagai tindak balas kepada masalah utama kesukaran dalam menyimpan parameter latihan model peringkat terabait, platform pembelajaran mesin Tencent Angel mencadangkan mekanisme pengurusan storan dari perspektif bersatu memori video dan ingatan utama, yang mencapai kapasiti storan model yang digandakan berbanding dengan industri, dan prestasi latihan adalah dua kali ganda daripada penyelesaian arus perdana industri.

Untuk membangunkan model besar menjadi model umum, ia tidak dapat dipisahkan daripada sokongan pemprosesan data berbilang modal Penjajaran, gabungan dan pemahaman modaliti yang berbeza, seperti teks, imej, video dan data lain, sukar difahami. Dalam latihan model berbilang modal, platform pembelajaran mesin Tencent Angel mencadangkan teknologi pengesyoran pengiklanan peringkat pautan penuh berdasarkan pembelajaran gabungan pelbagai mod untuk senario pengiklanan, membantu meningkatkan kadar ingat semula pengiklanan sebanyak lebih 40%.

Selain itu, untuk latihan model graf untuk sistem pengesyoran, platform pembelajaran mesin Tencent Angel telah mereka bentuk teknologi carian struktur rangkaian graf adaptif ciri nod graf, yang secara automatik boleh mengeluarkan struktur optimum dan menyelesaikan "masalah graf" dalam graf TB aplikasi model. "Perlombongan data adalah sukar", prestasi latihan model dipertingkatkan sebanyak 28 kali ganda, dan mempunyai skalabiliti terbaik berbanding dengan industri. . latihan formula pengedaran, dan latihan model LDA bilion parameter.

Pada tahun 2017, rangka kerja Angel adalah sumber terbuka di Github dan terbuka kepada pembangun Pada masa yang sama, secara teknikal, Angel menyelesaikan masalah komunikasi di bawah rangkaian heterogen dan meningkatkan lagi prestasi. Pada tahun 2019, kami membuat satu kejayaan dalam teknologi pemahaman pelbagai mod model graf boleh skala, menyelesaikan masalah model graf boleh skala dengan trilion nod. Pada tahun 2021, teknologi storan perspektif bersatu memori GPU dicadangkan untuk menyelesaikan masalah penyimpanan dan prestasi parameter model besar. Dalam penciptaan model besar kecerdasan buatan umum Tencent Tencent Hunyuan, platform pembelajaran mesin Tencent's Angel juga memainkan peranan penting.

Pada September 2023, model besar Hunyuan Tencent telah diumumkan secara rasmi kepada umum Korpus pra-latihan melebihi 2 trilion token, dan ia mempunyai kebolehan pemahaman dan penciptaan bahasa Cina yang kukuh, keupayaan penaakulan logik dan keupayaan pelaksanaan tugas yang boleh dipercayai. Berdepan dengan keperluan untuk membina model besar Tencent Hunyuan, platform pembelajaran mesin Tencent Angel telah mencipta rangka kerja pembelajaran mesin yang dibangunkan sendiri Angel PTM dan Angel HCF untuk latihan dan inferens model besar, menyokong tugas tunggal tahap 10,000-ka ultra-besar- latihan skala dan penggunaan perkhidmatan inferens skala besar. Kecekapan latihan model besar ditingkatkan kepada 2.6 kali ganda daripada rangka kerja sumber terbuka arus perdana Latihan ratusan bilion model besar boleh menjimatkan 50% kos kuasa pengkomputeran Selepas peningkatan, ia menyokong latihan berskala ultra besar sebanyak 10,000 kad setiap tugas. Dari segi penaakulan, kelajuan penaakulan platform pembelajaran mesin Tencent Angel telah meningkat sebanyak 1.3 kali Dalam penggunaan model besar Tencent Hunyuan Wenshengtu, masa penaakulan dipendekkan daripada 10 saat asal kepada 3 hingga 4 saat.

Selain itu, Angel juga menyediakan platform sehenti daripada pembangunan model kepada pelaksanaan aplikasi, menyokong pengguna untuk memanggil dengan pantas keupayaan model besar Tencent Hunyuan melalui antara muka API atau penalaan halus, mempercepatkan pembinaan aplikasi model besar, persidangan Tencent, Tencent news , Tencent Video dan lebih daripada 400 produk dan senario Tencent telah disambungkan kepada ujian dalaman Tencent Hunyuan.

Tencent Hunyuan telah mengembangkan model kepada trilion skala parameter dengan mengguna pakai struktur model pakar campuran (MoE), menggalakkan peningkatan prestasi dan pengurangan kos inferens. Sebagai model umum, Tencent Hunyuan menerajui industri dalam prestasi bahasa Cina, terutamanya dalam penjanaan teks, logik matematik dan dialog berbilang pusingan. Pada masa ini, Tencent Hunyuan juga sedang giat membangunkan model pelbagai mod untuk meningkatkan lagi keupayaan gambar Vincent dan video Vincent.

Senario aplikasi Tencent yang banyak menyediakan medan percubaan untuk pelaksanaan platform pembelajaran mesin Tencent Angel. Selain model besar Hunyuan Tencent, platform pembelajaran mesin Tencent's Angel juga menyokong produk seperti pengiklanan Tencent dan persidangan Tencent, dan melayani pelbagai industri dan pelanggan korporat melalui Tencent Cloud, membantu pembangunan digital dan pintar semua lapisan masyarakat.

Ambil Tencent Advertising sebagai contoh, menggunakan teknologi inovatif seperti pembelajaran mesin Tencent Angel pengoptimuman latihan teragih rata dan perlombongan data graf pemahaman pelbagai mod, kelajuan latihan model besar berbilang modal dalam senario perniagaan pengiklanan telah ditingkatkan sebanyak 5 kali ganda , dan saiz model telah ditingkatkan sebanyak 10 kali ganda, mencapai peningkatan yang ketara dalam kadar ingat semula pengiklanan.

Atas ialah kandungan terperinci Pengiktirafan daripada Hadiah Pertama Anugerah Kemajuan Sains dan Teknologi: Tencent menyelesaikan masalah melatih model besar dengan trilion parameter. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!