Intel開源NPU加速庫，酷睿Ultra處理器AI PC可運行輕量級大語言模型

3月4日訊息顯示，Intel最近在GitHub上發布了其NPU加速庫，這一舉措使得搭載酷睿Ultra處理器的AI PC能夠更加順暢地運行諸如TinyLlama、Gemma-2b等輕量級大型語言模型。

酷睿Ultra系列首次整合了NPU AI引擎，此引擎可處理一些輕量級的AI推理任務，並與CPU、GPU協同工作，以滿足各種AI應用的要求。

據了解，雖然這次發布的NPU加速庫主要是為開發人員準備的，但那些有一定程式設計經驗的使用者同樣可以嘗試使用。 Intel的軟體架構師Tony Mongkolsmai示範如何在微星尊爵14 AI Evo筆記型電腦上運行一個基於11億參數的TinyLlama大模型的AI聊天機器人，這個機器人可以進行簡單的對話。同時，Windows任務管理器也顯示了NPU的有效呼叫。

然而，目前的開源NPU加速函式庫在功能上仍有一些不足，它支援8位元量化和FP16精度，但尚不支援4位元量化、BF16精度以及NPU/GPU的混合計算等高級功能，且相關技術文件也尚未提供。不過，Intel已承諾將在後續逐步擴展其功能，預期將比現有功能增加一倍，這無疑將為AI開發者帶來更多的便利和可能性。

以上是Intel開源NPU加速庫，酷睿Ultra處理器AI PC可運行輕量級大語言模型的詳細內容。更多資訊請關注PHP中文網其他相關文章！