3月4日訊息顯示，Intel最近在GitHub上發布了其NPU加速庫，這一舉措使得搭載酷睿Ultra處理器的AI PC能夠更加順暢地運行諸如TinyLlama、Gemma-2b等輕量級大型語言模型。
酷睿Ultra系列首次整合了NPU AI引擎，此引擎可處理一些輕量級的AI推理任務，並與CPU、GPU協同工作，以滿足各種AI應用的要求。
據了解，雖然這次發布的NPU加速庫主要是為開發人員準備的，但那些有一定程式設計經驗的使用者同樣可以嘗試使用。 Intel的軟體架構師Tony Mongkolsmai示範如何在微星尊爵14 AI Evo筆記型電腦上運行一個基於11億參數的TinyLlama大模型的AI聊天機器人，這個機器人可以進行簡單的對話。同時，Windows任務管理器也顯示了NPU的有效呼叫。
然而，目前的開源NPU加速函式庫在功能上仍有一些不足，它支援8位元量化和FP16精度，但尚不支援4位元量化、BF16精度以及NPU/GPU的混合計算等高級功能，且相關技術文件也尚未提供。不過，Intel已承諾將在後續逐步擴展其功能，預期將比現有功能增加一倍，這無疑將為AI開發者帶來更多的便利和可能性。
以上是Intel開源NPU加速庫，酷睿Ultra處理器AI PC可運行輕量級大語言模型的詳細內容。更多資訊請關注PHP中文網其他相關文章！
CNCF ARM64飛行員：影響和見解Apr 15, 2025 am 08:27 AM該試點程序是CNCF（雲本機計算基礎），安培計算，Equinix金屬和驅動的合作，簡化了CNCF GitHub項目的ARM64 CI/CD。 該計劃解決了安全問題和績效
使用GO構建網絡漏洞掃描儀Apr 01, 2025 am 08:27 AM此基於GO的網絡漏洞掃描儀有效地確定了潛在的安全弱點。 它利用了GO的並發功能的速度功能，包括服務檢測和漏洞匹配。讓我們探索它的能力和道德
2025年最佳10個最佳免費反向鏈接檢查器工具Mar 21, 2025 am 08:28 AM網站建設只是第一步：SEO與反向鏈接的重要性 建立網站只是將其轉化為寶貴營銷資產的第一步。您需要進行SEO優化，以提高網站在搜索引擎中的可見度，吸引潛在客戶。反向鏈接是提升網站排名的關鍵，它向谷歌和其他搜索引擎表明您的網站權威性和可信度。 並非所有反向鏈接都有利：識別並避免有害鏈接 並非所有反向鏈接都有益。有害鏈接會損害您的排名。優秀的免費反向鏈接檢查工具可以監控鏈接到您網站的來源，並提醒您注意有害鏈接。此外，您還可以分析競爭對手的鏈接策略，從中學習借鑒。 免費反向鏈接檢查工具：您的SEO情報員
熱AI工具
Undresser.AI Undress
人工智慧驅動的應用程序，用於創建逼真的裸體照片
AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。
Undress AI Tool
免費脫衣圖片
Clothoff.io
AI脫衣器
AI Hentai Generator
免費產生 AI 無盡。
熱門文章
熱工具
SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)
PhpStorm Mac 版本
最新（2018.2.1 ）專業的PHP整合開發工具
Safe Exam Browser
Safe Exam Browser是一個安全的瀏覽器環境，安全地進行線上考試。該軟體將任何電腦變成一個安全的工作站。它控制對任何實用工具的訪問，並防止學生使用未經授權的資源。
SublimeText3 Linux新版
SublimeText3 Linux最新版
MinGW - Minimalist GNU for Windows
這個專案正在遷移到osdn.net/projects/mingw的過程中，你可以繼續在那裡關注我們。 MinGW：GNU編譯器集合（GCC）的本機Windows移植版本，可自由分發的導入函式庫和用於建置本機Windows應用程式的頭檔；包括對MSVC執行時間的擴展，以支援C99功能。 MinGW的所有軟體都可以在64位元Windows平台上運作。
