Pustaka pecutan NPU sumber terbuka Intel, pemproses Core Ultra AI PC boleh menjalankan model bahasa besar yang ringan

Menurut berita pada 4 Mac, Intel baru-baru ini mengeluarkan pustaka pecutan NPUnya di GitHub Langkah ini membolehkan PC AI yang dilengkapi dengan pemproses Teras Ultra untuk menjalankan model bahasa berskala besar ringan seperti TinyLlama dan Gemma-2b.

Siri Core Ultra menyepadukan enjin AI NPU buat kali pertama Enjin ini boleh mengendalikan beberapa tugas inferens AI yang ringan dan berfungsi bersama-sama dengan CPU dan GPU untuk memenuhi keperluan pelbagai aplikasi AI.

Difahamkan walaupun perpustakaan pecutan NPU yang dikeluarkan kali ini disediakan terutamanya untuk pembangun, pengguna yang mempunyai pengalaman pengaturcaraan tertentu juga boleh mencuba menggunakannya. Tony Mongkolsmai, seorang arkitek perisian di Intel, menunjukkan cara menjalankan chatbot AI berdasarkan model besar TinyLlama parameter 1.1 bilion pada komputer riba MSI Monarch 14 AI Evo, yang boleh menjalankan perbualan mudah. Pada masa yang sama, Pengurus Tugas Windows juga menunjukkan panggilan yang sah kepada NPU.

Walau bagaimanapun, perpustakaan pecutan NPU sumber terbuka semasa masih mempunyai beberapa kekurangan dalam fungsi Ia menyokong pengkuantitian 8-bit dan ketepatan FP16, tetapi belum lagi menyokong fungsi lanjutan seperti pengkuantitian 4-bit, ketepatan BF16 dan NPU. /GPU pengkomputeran hibrid , dan dokumentasi teknikal yang berkaitan masih belum disediakan. Walau bagaimanapun, Intel telah berjanji untuk mengembangkan fungsinya secara beransur-ansur pada masa hadapan, yang dijangka menggandakan fungsi sedia ada, yang sudah pasti akan membawa lebih banyak kemudahan dan kemungkinan kepada pembangun AI.

Atas ialah kandungan terperinci Pustaka pecutan NPU sumber terbuka Intel, pemproses Core Ultra AI PC boleh menjalankan model bahasa besar yang ringan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!