Dalam medan perang utama AI, Wanka ialah konfigurasi standard: gugusan GPU domestik Wanka WanP ada di sini!

Undang-undang Penskalaan terus berkuat kuasa, dan kuasa pengkomputeran sukar untuk bersaing dengan kadar pengembangan model besar. "Semakin besar skala, semakin tinggi kuasa pengkomputeran, dan lebih baik kesannya" telah menjadi standard industri. Hanya mengambil masa satu tahun untuk model besar arus perdana melonjak daripada berpuluh bilion kepada 1.8 trilion parameter seperti META, Google dan Microsoft juga telah membina kluster ultra-besar dengan lebih daripada 15,000 kad sejak 2022. "Wanka telah menjadi standard untuk medan perang utama AI." Terdapat kluster Wanka berskala super besar dengan serba boleh, yang merupakan jurang dalam industri.

Apabila kluster GPU Wankawan P domestik membuat penampilan sulungnya, ia secara semula jadi menarik perhatian meluas dalam industri.

Pada 3 Julai, Moore Thread mengumumkan di Shanghai bahawa produk utama AInya, KUAE, penyelesaian kluster pengkomputeran pintar telah mencapai peningkatan besar, dengan ketara berkembang daripada tahap kilo kad semasa kepada skala 10,000 kad.

Kluster pengkomputeran pintar Moore Thread Kuae (KUAE) Wanka adalah berdasarkan GPU berciri penuh dan bertujuan untuk mencipta platform pengkomputeran dipercepatkan tujuan am domestik terkemuka yang boleh membawa skala Wanka dan mempunyai keupayaan pengkomputeran titik terapung 10,000 peringkat P . Direka bentuk untuk latihan model besar yang kompleks dengan trilion parameter. Kemajuan penting ini telah menetapkan penanda aras baharu untuk teknologi GPU domestik, membantu mencapai lonjakan baharu dalam keupayaan pengkomputeran kelompok pengkomputeran pintar domestik, dan akan menyediakan asas yang kukuh dan boleh dipercayai untuk inovasi teknologi dan aplikasi, penyelidikan saintifik dan peningkatan industri dalam bidang kecerdasan buatan di negara saya.

Selain itu,

Moore Thread telah bergabung dengan China Mobile Communications Group Qinghai Co., Ltd., China Unicom Qinghai Company, Beijing Dedao Xinke Group, China Energy Construction Co., Ltd. Syarikat Kontrak Am, Guilin Huajue Big Data Technology Co., Ltd. (diperingkat tidak (dalam turutan) masing-masing menandatangani kontrak strategik untuk tiga projek kluster Wanka, dan semua pihak bekerjasama untuk membina kluster GPU domestik yang berguna.

Zhang Jianzhong, pengasas dan Ketua Pegawai Eksekutif Moore Thread, berkata: "Pada masa ini, kita berada dalam zaman kegemilangan kecerdasan buatan generatif. Persimpangan teknologi menggalakkan kemunculan kecerdasan, dan GPU telah menjadi enjin inovasi yang mempercepatkan ketibaan gelombang baharu teknologi baharu Benang Moore Kami komited terhadap proses penciptaan bersejarah ini, komited untuk menyediakan infrastruktur pengkomputeran dipercepatkan dan penyelesaian sehenti kepada dunia, dan mewujudkan platform pengkomputeran dipercepatkan yang termaju untuk dunia digital yang menyepadukan. kecerdasan buatan dan kembar digital Sebagai bahagian penting dalam strategi AI timbunan penuh Moore Thread, kluster pengkomputeran pintar boleh memberikan kuasa pengkomputeran yang melonjak untuk transformasi kecerdasan digital bagi semua lapisan masyarakat. Ia bukan sahaja menunjukkan kekuatan Moore Thread inovasi teknologi dan amalan kejuruteraan, tetapi juga akan menjadi penggerak untuk AI Titik permulaan baharu untuk pembangunan industri "

Dalam medan perang utama AI, kuasa pengkomputeran sejagat Wanka adalah standard. Sejak kemunculan. model besar, hala tuju masa depan dan trend pembangunannya perlu disahkan mengikut masa, tetapi mulai sekarang Berdasarkan perkara di atas, beberapa trend evolusi patut diberi perhatian, menjadikan permintaan terasnya untuk kuasa pengkomputeran semakin jelas.

Pertama sekali, Scaling Law akan terus berfungsi.

Sejak Undang-undang Penskalaan dicadangkan pada tahun 2020, ia telah mendedahkan "estetika keganasan" di sebalik pembangunan model besar, iaitu, melalui penyepaduan mendalam kuasa pengkomputeran, algoritma, data dan pengumpulan pengalaman, lonjakan dalam prestasi model telah dicapai, yang juga telah menjadi piawaian industri yang diiktiraf Teruskan mempengaruhi trend pembangunan model besar masa hadapan. Undang-undang Penskalaan akan terus berfungsi, memerlukan satu titik skala yang mencukupi dan kuasa pengkomputeran am untuk pantas mengikuti evolusi teknologi.

Kedua, seni bina Transformer tidak boleh disatukan dan akan terus berkembang dan wujud bersama dengan seni bina lain untuk membentuk ekosistem teknologi yang pelbagai.

Evolusi AI generatif tidak hanya bergantung pada pengembangan skala yang mudah, tetapi inovasi dalam seni bina teknikal juga penting. Walaupun seni bina Transformer pada masa ini adalah arus perdana, seni bina baru muncul seperti Mamba, RWKV dan RetNet terus menyegarkan kecekapan pengkomputeran dan mempercepatkan inovasi. Dengan lelaran dan evolusi teknologi, seni bina Transformer tidak dapat mencapai model bersatu Daripada model padat kepada jarang kepada gabungan model berbilang modal, kemajuan teknologi telah menunjukkan keinginan untuk sumber pengkomputeran berprestasi tinggi.

Pada masa yang sama, teknologi silang dan integrasi merentas domain AI, 3D dan HPC terus mempercepatkan, menggalakkan pengembangan sempadan kecerdasan spatial, AI fizikal, AI 4Sains, model dunia dan bidang lain, menjadikan persekitaran latihan dan aplikasi model besar lebih Kompleks dan pelbagai, pasaran mempunyai keperluan yang semakin mendesak untuk platform pengkomputeran dipercepatkan am yang boleh menyokong pembangunan bersepadu berbilang pengkomputeran seperti AI+3D, AI+simulasi fizikal, AI+saintifik. pengkomputeran, dsb.

Di bawah trend yang pelbagai, Wanka telah menjadi standard untuk medan perang utama latihan model AI. Memandangkan jumlah pengkomputeran terus meningkat, latihan model besar memerlukan segera kilang super, platform pengkomputeran dipercepatkan "besar dan universal" untuk memendekkan masa latihan dan mencapai keupayaan model lelaran pantas. Pada masa ini, gergasi teknologi antarabangsa sedang giat menggunakan kluster pengkomputeran dengan skala 1,000 kad atau lebih daripada 10,000 kad untuk memastikan daya saing produk model besar. Apabila bilangan parameter model berubah daripada ratusan bilion kepada trilion, keupayaan model menjadi lebih umum, dan permintaan model besar untuk kuasa pengkomputeran yang mendasari semakin meningkat Wanka atau bahkan gugusan super-10,000ka telah menjadi tiket ke pusingan model besar ini persaingan.

Walau bagaimanapun, membina kluster Wanka bukanlah susunan mudah 10,000 kad GPU, tetapi projek sistem super yang sangat kompleks. Ia melibatkan banyak masalah teknikal seperti interkoneksi rangkaian berskala ultra besar, pengkomputeran kluster yang cekap, kestabilan jangka panjang dan ketersediaan yang tinggi. Ini adalah perkara yang sukar tetapi betul untuk dilakukan. Moore Thread berharap untuk membina platform pengkomputeran dipercepatkan dengan skala lebih 10,000 kad dan senario universal, dan mengutamakan penyelesaian masalah latihan model besar.

KUAE: Platform latihan model Wanka 10,000p trilion besar

KUAE (KUAE) adalah penyelesaian penuh Pusat Pengkomputeran Moore Thread. perkakasan. Penyelesaian kuasa pengkomputeran peringkat sistem yang komprehensif dan lengkap, termasuk infrastruktur dengan kluster pengkomputeran Kua'e sebagai teras, platform pengurusan kluster Kua'e (Platform KUAE) dan platform perkhidmatan model besar Kua'e (KUAE ModelStudio), bertujuan untuk penghantaran bersepadu Kaedah ini menyelesaikan masalah pembinaan dan pengurusan operasi kuasa pengkomputeran GPU berskala besar.

Berdasarkan pandangan mendalam dan susun atur berpandangan ke hadapan keperluan kuasa pengkomputeran AI, Kluster Pengkomputeran Pintar Moore Kua'e boleh mencapai pengembangan 10, gugusan kilo0 ke gugusan yang lancar Dalam era model besar, permintaan teras untuk kuasa pengkomputeran ialah "skala yang cukup besar + pengkomputeran universal + keserasian ekologi". kluster pengkomputeran Projek super baharu mentakrifkan semula standard baharu keupayaan pengkomputeran kluster domestik.

Penyelesaian pengkomputeran pintar Kuae Wanka mempunyai pelbagai ciri teras:

• Kuasa pengkomputeran yang sangat besar, Wanka Wanka P: Dari segi prestasi pengkomputeran kluster, generasi baharu kluster Kuaue yang pintar saiz melebihi 10,000 kad, dan kuasa pengkomputeran titik terapung mencecah 10Exa-Flops, yang sangat meningkatkan prestasi pengkomputeran satu kelompok dan boleh menyediakan asas kuasa pengkomputeran yang kukuh untuk melatih model besar dengan bertrilion parameter. Pada masa yang sama, dari segi memori GPU dan jalur lebar penghantaran, gugusan Kua'e Wanka telah mencapai jumlah kapasiti memori grafik ultra-besar peringkat PB, jumlah lebar jalur antara kad antara kad berkelajuan ultra-tinggi peringkat PB sesaat, dan Jumlah lebar jalur sambungan nod berkelajuan ultra-tinggi peringkat PB, merealisasikan pengkomputeran Pengoptimuman kolaboratif sistematik kuasa, memori video dan lebar jalur untuk meningkatkan prestasi pengkomputeran kelompok secara menyeluruh.

• Kestabilan ultra tinggi, latihan stabil jangka panjang bulanan: Kestabilan adalah kunci untuk mengukur prestasi kluster super-10,000 kad. Dari segi kestabilan kluster, Moore Thread membanggakan bahawa purata masa berjalan tanpa masalah bagi kluster Wanka adalah lebih daripada 15 hari, dan ia boleh mencapai latihan yang stabil bagi model besar selama lebih daripada 30 hari Purata sasaran kecekapan latihan mingguan boleh dicapai lebih daripada 99%, jauh melebihi Purata industri. Ini disebabkan oleh satu siri mekanisme boleh dipercayai berbilang peringkat yang boleh diramal dan boleh didiagnos yang dibangunkan secara bebas oleh Moore Threads, termasuk: lokasi automatik dan ramalan diagnostik kerosakan perisian dan perkakasan untuk mencapai lokasi kerosakan peringkat minit, dan mekanisme storan berbilang peringkat Checkpoint untuk mencapai storan memori peringkat kedua Dan pemulihan tugas latihan peringkat minit dan platform pengurusan kluster Wanka yang sangat tahan terhadap kesalahan dan berprestasi tinggi merealisasikan peruntukan pengurusan peringkat kedua dan penjadualan kerja.

• Pengoptimuman melampau, MFU ultra tinggi: MFU ialah penunjuk biasa untuk menilai kecekapan latihan model besar, yang boleh mencerminkan secara langsung kecekapan latihan kelompok hujung ke hujung. Kelompok Kua'e Wanka telah dioptimumkan dari segi perisian sistem, rangka kerja dan algoritma, dengan sasaran kecekapan pengkomputeran berkesan (MFU) sehingga 60%, mencapai piawaian antarabangsa. Antaranya, pada peringkat perisian sistem, berdasarkan cara teknikal seperti pengkomputeran yang melampau dan pengoptimuman kecekapan komunikasi, kecekapan pelaksanaan dan prestasi kluster telah bertambah baik. Pada peringkat rangka kerja dan algoritma, gugusan Kua'e Wanka menyokong pelbagai strategi selari hibrid adaptif dan pengoptimuman memori yang cekap Ia boleh memilih dan mengkonfigurasi strategi selari optimum mengikut beban aplikasi, meningkatkan kecekapan latihan dan penggunaan memori secara automatik. Pada masa yang sama, untuk model besar dengan urutan yang sangat panjang, kluster Kua'e Wanka menggunakan teknologi pengoptimuman seperti keselarian CP dan RingAttention untuk mengurangkan masa pengkomputeran dan penggunaan memori dengan berkesan, serta meningkatkan kecekapan latihan kluster dengan berkesan.

• Versatile dan universal, mesra alam: Kelompok Kua'e Wanka ialah platform pengkomputeran dipercepatkan umum dengan keupayaan pengkomputeran yang direka untuk senario umum seperti LLM, seni bina yang berbeza modal, Mamba, dsb. , model besar modaliti yang berbeza. Pada masa yang sama, berdasarkan bahasa pengaturcaraan MUSA yang cekap dan mudah digunakan, keserasian CUDA yang lengkap dan alat penghijrahan automatik Musify, ia mempercepatkan penghijrahan tahap "Hari0" bagi model baharu, merealisasikan penyesuaian ekologi "Instant On", dan membantu pelanggan cepat pergi dalam talian.

Semua orang adalah satu, membina ekosistem aplikasi model besar

Pembinaan gugusan Wanka memerlukan usaha bersepadu industri untuk mencapai pelaksanaan pesat pengkomputeran besar dan model inovatif domestik kuasa "Dibina untuk kegunaan". Pada sidang akhbar itu, Moore Thread berganding bahu dengan China Mobile Communications Group Qinghai Co., Ltd., China Unicom Qinghai Company, Beijing Dedao Xinke Group, China Energy Construction Co., Ltd. General Contracting Company, Guilin Huajue Big Data Technology Co. , Ltd. (tanpa susunan tertentu ), masing-masing menjalankan kontrak strategik pada Projek Kelompok Wanka Taman Perindustrian Sifar Karbon Qinghai, Projek Kluster Kua'e Wanka Dataran Tinggi Qinghai dan Projek Kelompok Wanka ASEAN Guangxi.

Dengan bantuan penyelesaian pengkomputeran pintar susunan penuh Moore Thread termaju, semua pihak akan bekerjasama untuk membina platform pengkomputeran industri dan pintar negara yang berkuasa untuk mempercepatkan transformasi digital dan pembangunan industri yang berkualiti tinggi. Projek kluster pengkomputeran pintar Kua'e Wanka menandakan satu lagi pembangunan utama dalam infrastruktur kuasa pengkomputeran AI domestik dan akan menyuntik tenaga baharu ke dalam pembangunan ekonomi digital di pelbagai tempat.

^{Bersama Thread Moore telah menandatangani kontrak strategik dengan China Unicom Qinghai Company dan Beijing Dedao Xinke Group 中国 Moore Threads dan China Energy Construction Co., Ltd. Syarikat Kontrak Umum dan Guilin Huilin Big Data Technology Co., Ltd. Selepas persidangan menandatangani strategik, saya tidak bertanya kepada kubah teras, Qingcheng Jizhi, 360, Jingdong Yun, Zhi Zhi, Zhi Zhi, Zhi Zhi, Zhi Zhi, Zhi Zhi, Zhi Zhi, Zhi Zhi, Zhi Zhi, Zhi Zhi, Zhi Zhi, Zhi Zhi, Zhi Zhi, Zhi Zhi, Zhi Zhi, Zhizhi, Zhizhi, Zhi Zhi, Zhizhi, Zhizhi, Zhizhi dan Zhi Zhi Wakil daripada lima rakan kongsi, termasuk Square, naik ke pentas satu demi satu untuk berkongsi cara Moore Kluster Pengkomputeran Pintar Kua'e membantu mereka berinovasi dalam senario dan bidang yang berbeza seperti latihan model besar, penaakulan model besar dan kecerdasan yang terkandung, menunjukkan peranan Kluster Pengkomputeran Pintar Kua'e yang berpotensi besar dan kebolehgunaan luas dalam aplikasi praktikal.}

Moore Thread sanggup bekerjasama dengan sejumlah besar rakan kongsi industri, memberikan permainan penuh kepada kuasa AI tindanan penuh, mempercepatkan promosi ekosistem pengkomputeran pintar domestik dengan Kluster Pengkomputeran Pintar Wanka sebagai pangkalan yang kuat, dibina oleh rakan kongsi dalam pelbagai bidang, dan memperkasakan ekonomi digital secara meluas, dan bersama-sama membuka Era baharu model besar dan kecerdasan buatan generatif, mempercepatkan untuk dunia yang lebih baik. Semasa WAIC, Moore Thread akan melaksanakan tema "Full-stack AI Accelerating for a Better World" di Pusat Pameran dan Konvensyen Ekspo Dunia Shanghai (H2 Hall D616), termasuk kad pemecut Moore Thread, pelayan, semua penumpuan hiper- mesin dalam-satu dan aplikasi AIGC Semua produk AI tindanan penuh telah diumumkan, dan ramai rakan kongsi industri bersama-sama menunjukkan pelbagai model industri dan penyelesaian aplikasi berdasarkan Kluster Pengkomputeran Pintar Kua'e.

Atas ialah kandungan terperinci Dalam medan perang utama AI, Wanka ialah konfigurasi standard: gugusan GPU domestik Wanka WanP ada di sini!. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!