Dimensity 9300, cip mudah alih AI generatif pertama: mampu menjalankan model besar dengan 33 bilion parameter

Lukisan AI dijana dalam satu saat, dan model bahasa besar ialah 20 token sesaat.

2023 ialah tahun pertama AI generatif, dan peranti mudah alih di tangan kami juga semakin pantas ke era model besar.

Pada petang 6 November, MediaTek secara rasmi mengeluarkan SoC Dimensity 9300 unggulan tahunan. Cip ini menggunakan reka bentuk teras penuh 4+4 dan meningkatkan prestasi dan penggunaan tenaga secara menyeluruh, mengatasi pesaing Android dan Apple.

Apa yang lebih patut diberi perhatian ialah cip perdana tahun ini ditakrifkan sebagai cip mudah alih AI generatif 5G, menyediakan ciri unggul kecerdasan tinggi, prestasi tinggi, kecekapan tenaga tinggi dan penggunaan kuasa rendah yang jauh melebihi cip masa lalu.

Dimensity 9300 menggunakan proses 4nm generasi baharu TSMC dan mempunyai 22.7 bilion transistor. Untuk memenuhi keperluan kuasa pengkomputeran era AI generatif, Dimensity 9300 mempelopori penggunaan seni bina CPU "teras semua besar", termasuk 4 teras ultra-besar Cortex-X4 dengan frekuensi maksimum 3.25GHz dan 4 frekuensi utama Teras besar 2.0GHz Cortex-A720 mempunyai prestasi puncak iaitu 40% lebih tinggi daripada generasi sebelumnya, dan penggunaan kuasa dijimatkan sebanyak 33% dengan prestasi yang sama.

Seni bina ini memastikan kelajuan kerja yang pantas dan kecekapan tinggi di samping menjimatkan kuasa, sama ada dalam senario aplikasi beban ringan atau berat, boleh mengurangkan penggunaan kuasa dan memanjangkan bateri kehidupan. MediaTek berkata bahawa Dimensity 9300 telah dioptimumkan untuk keperluan tugas biasa seperti video, siaran langsung dan permainan, dan lebih mudah disesuaikan dengan mod berbilang tugas telefon mudah alih skrin lipat berbanding sebelum ini.

Apabila proses pembuatan cip bertambah baik, transistor sentiasa dikecilkan, dan pelbagai masalah kebocoran telah menjadi penghalang utama kepada pembangunan Undang-undang Moore. Kebocoran bermakna peningkatan ketara dalam penggunaan tenaga, dan cip juga akan menghadapi masalah terlalu panas atau kegagalan. Dalam kes ini, jurang penggunaan kuasa antara teras kecil dan teras besar telah menjadi lebih kecil dan lebih kecil.

Menurut laporan, MediaTek mula meneroka bentuk cip teras penuh seawal tiga tahun lalu. Kini, dengan membiarkan teras besar memproses tugas dengan cepat dan kemudian tidur untuk jangka masa yang lebih lama, kami boleh menjadikan pemproses teras besar secara berlawanan dengan intuisi lebih cekap kuasa daripada rakan sejawatannya yang lebih kecil. Sebaliknya, MediaTek juga telah menambah strategi luar pesanan untuk meningkatkan lagi kecekapan pelaksanaan aplikasi. MediaTek percaya bahawa menjelang tahun depan, reka bentuk semua teras besar akan menjadi konsensus dalam industri.

Selain keupayaan konvensional, MediaTek telah menumpukan pada menaik taraf prestasi AI cip kali ini. Dimensity 9300 menyepadukan pemproses AI generasi ketujuh MediaTek APU 790, yang direka khas untuk AI generatif dan kecekapan tenaganya telah dipertingkatkan dengan ketara berbanding dengan generasi sebelumnya penjanaan. Penggunaan kuasa dikurangkan sebanyak 45%.

APU 790 mempunyai enjin AI generatif peringkat perkakasan terbina dalam, yang boleh mencapai pengkomputeran AI yang lebih pantas dan selamat Berbanding dengan generasi sebelumnya, ia direka khas untuk Transformer yang biasa digunakan dalam model bahasa besar Pecutan operator, kelajuan pemprosesan model besar adalah 8 kali ganda daripada generasi sebelumnya.

Seni bina rangkaian teras utama model bahasa besar (LLM) popular kontemporari kebanyakannya terdiri daripada blok pengubah. Berbanding dengan rangkaian CNN biasa dalam penglihatan komputer, rangkaian pengubah menggunakan pengendali Softmax+LayerNorm sebagai teras dan mempunyai operator lilitan yang lebih sedikit, jadi mekanisme pecutan teras AI asal tidak boleh digunakan. Pada pemproses APU generasi ketujuh, MediaTek menumpukan pada mengoptimumkan pengendali Softmax+LayerNorm untuk meningkatkan kuasa pengkomputeran.

Kuantiti kini merupakan salah satu cara yang berkesan untuk mengoptimumkan penaakulan AI. Berdasarkan ciri-ciri model bahasa besar dengan ratusan juta parameter, MediaTek telah membangunkan teknologi pengkuantitian INT4 ketepatan campuran, digabungkan dengan teknologi pemampatan perkakasan memori uniknya NeuroPilot Compression, untuk menggunakan lebar jalur memori dengan lebih cekap dan mengurangkan penggunaan memori terminal dengan ketara. oleh model AI yang besar.

#🎜🎜 #MediaTek jurutera berkata bahawa walaupun model besar boleh membawa produktiviti yang lebih baik, menjalankan 13B secara tempatan bermakna ia mengambil kira-kira 13GB memori, ditambah 4GB Android itu sendiri, dan lain-lain 6GB APP telah melebihi 16G kapasiti memori kebanyakan telefon bimbit. Teknologi pemampatan perkakasan memori yang digunakan oleh Dimensity 9300 mengurangkan penggunaan memori model besar kepada 5GB melalui kuantisasi dan pemampatan Hanya dengan cara ini kebanyakan pengguna mampu menjalankan aplikasi model besar dalam kehidupan seharian.

APU 790 juga menyokong teknologi AI "pengembangan kemahiran" sisi akhir model AI NeuroPilot Fusion, yang boleh terus melakukan penyesuaian peringkat rendah (LoRA, Penyesuaian Peringkat Rendah) pada gabungan berasaskan bahagian hujung pada model besar asas Ini memberikan keupayaan model besar asas yang lebih komprehensif.

Berdasarkan perkakasan dan pengoptimuman sedemikian, Dimensity 9300 boleh mencapai 2019 mata pada versi terkini Penanda Aras AI yang dicadangkan oleh ETH Zurich, yang merupakan tahap tertinggi baharu untuk cip mudah alih.

Menggunakan Dimensity 9300, penjanaan imej AI sisi hujung seperti Stable Diffusion boleh menghasilkan imej dalam masa satu saat dan inferens sisi akhir bagi model bahasa besar 7 bilion parameter boleh Mencapai 20 token sesaat.

MediaTek berkata bahawa dalam kerjasamanya dengan vivo, berdasarkan Dimensity 9300, ia telah menerajui dalam merealisasikan inferens model besar 7B dan 13B pada terminal mudah alih adalah dijangka bahawa produk tersebut akan dilancarkan pada terminal tidak lama lagi. Di samping itu, dalam kes yang lebih ekstrem, MediaTek juga telah menjalankan model besar sehingga 33B.

Dalam mesyuarat komunikasi dan di tapak sebelum keluaran, MediaTek menunjukkan keupayaan untuk menggunakan mesin kejuruteraan Dimensity 9300 untuk merealisasikan rajah penjanaan teks LoRA dan penjanaan teks model besar.

Kami dapat meramalkan bahawa pada telefon mudah alih perdana generasi terkini, kami boleh menggunakan pembantu pintar yang lebih bijak untuk membalas sembang dan klik kanan dengan pantas berdasarkan cadangan yang diberikan oleh model besar, dan menggunakan emotikon yang dijana AI untuk melawan gambar ……

Apa yang akan dilancarkan tidak lama lagi dan semua orang boleh mengalaminya ialah pembantu AI Lan Xin dalam sistem OriginOS 4 di vivo Telefon mudah alih siri X100 Little V.

Pada awal bulan ini, vivo baru sahaja memperkenalkan model hati biru dan aplikasinya di persidangan pembangun . Kali ini Pelbagai keupayaan jelas menjurus kepada telefon bimbit. Dengan berkat model besar, Lanxin Xiao V mempunyai kebijaksanaan terkemuka industri Ia boleh menerima maklumat untuk pemprosesan melalui suara, teks, seret dan lepas fail, dsb. Jika anda menghadapi soalan mudah, Little V akan membalas dengan teks atau gambar. Bagi soalan yang kompleks, ia juga boleh mengeluarkan jawapan dalam bentuk model SWOT atau peta minda.

Selain itu, keupayaan AI Dimensity 9300 juga meliputi segala-galanya daripada carian hingga penggambaran.

MediaTek berkata bahawa platform pembangunan AInya NeuroPilot telah pun menguji model besar AI arus perdana yang canggih seperti Android, LIama 2, Wen Xinyiyan dan Baichuan model besar Dengan penyesuaian dan pengoptimuman yang mendalam, lebih banyak aplikasi sedang dalam perjalanan.

Dari segi GPU, Dimensity 9300 menggunakan 12 teras Immortalis-G720. Berbanding dengan generasi sebelumnya, prestasi puncak meningkat sebanyak 46%, dan penggunaan kuasa boleh dijimatkan sebanyak 40% di bawah prestasi yang sama. Dimensity 9300 dilengkapi dengan enjin pengesanan sinar perkakasan generasi kedua MediaTek, yang menyokong pengesanan sinar licin tinggi 60FPS dan membawa kesan pencahayaan global peringkat konsol permainan.

Selain itu, teknologi kawalan penyesuaian permainan MAGT unik MediaTek telah dinaik taraf kepada "Star Speed ​​​​Engine", yang bukan sahaja akan bekerjasama secara meluas dengan permainan. aplikasi, tetapi juga berkembang kepada lebih banyak kerjasama Ekologi untuk pelbagai jenis aplikasi. Pada majlis itu, MediaTek mengumumkan bahawa platform Dimensity 9300 akan memperkenalkan versi pengesanan sinar "World of Sword and Sword" dan juga akan mencapai pengalaman pengesanan sinar 60 bingkai yang stabil pada permainan mudah alih "Dark Zone Breakout".

Pada masa ini, menurut banyak ulasan pihak ketiga, prestasi mutlak CPU dan GPU dan nisbah penggunaan kuasa mesin kejuruteraan Dimensity 9300 melebihi Snapdragon 8Gen3 dan A17Pro nampaknya strategi menggunakan semua teras besar berjaya.

                                                                         ^{… enjin video, pembahagian semantik imej 16 lapisan, dwi-depth-of-field dan enjin spot, tindanan fokus piksel penuh zum tanpa kehilangan 2x, teras penstabilan imej optikal OIS dan 3 mikrofon Pengurangan hingar rakaman yang sangat dinamik boleh menapis lebih daripada 99%. bunyi angin pada kelajuan angin 25km/j.} Dimensity 9300 juga dilengkapi dengan cip but selamat baharu, persekitaran pengkomputeran selamat terpencil dan sambungan penandaan memori Armv9 untuk membantu pembangun mengelakkan eksploitasi memori.

Dari segi rangkaian, Dimensity 9300 menyepadukan modem 5G yang menyokong pengagregatan empat pembawa Sub-6GHz (4CC-CA) dan dwi-pass berbilang standard Ia juga meningkatkan isyarat melalui Algoritma AI dan menyokong fungsi kesedaran situasi 5G. Dimensity 9300 menyokong jalur frekuensi Wi-Fi 7 dan 5G sub-6GHz, dengan kadar pautan ke bawah sebanyak 7Gbps. Dari segi sambungan Bluetooth, Dimensity 9300 menyokong 3 antena Bluetooth dan teknologi sambungan kilat Bluetooth dwi-saluran unik, yang boleh membawa pengalaman audio Bluetooth kependaman ultra rendah.

Menurut laporan, telefon mudah alih pertama menggunakan cip Dimensity 9300 termasuk vivo, OPPO, Xiaomi, Transsion, dll. Selepas acara pelancaran MediaTek, vivo telah mengumumkan bahawa ia akan menjadi yang pertama membawa cip perdana baharu dalam siri X100 yang dikeluarkan pada 13 November, dan akan menjadi yang pertama melaksanakan memori LPDDR5T-9600.

Kami menantikan kemunculan produk generasi baharu.

Atas ialah kandungan terperinci Dimensity 9300, cip mudah alih AI generatif pertama: mampu menjalankan model besar dengan 33 bilion parameter. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!