Intel开源NPU加速库，酷睿Ultra处理器AI PC可运行轻量级大语言模型

3月4日消息显示，Intel最近在GitHub上发布了其NPU加速库，这一举措使得搭载酷睿Ultra处理器的AI PC能够更加顺畅地运行诸如TinyLlama、Gemma-2b等轻量级大型语言模型。

酷睿Ultra系列首次整合了NPU AI引擎，此引擎可处理一些轻量级的AI推理任务，并与CPU、GPU协同工作，以满足各种AI应用的要求。

据了解，虽然这次发布的NPU加速库主要是为开发人员准备的，但那些有一定编程经验的用户同样可以尝试使用。Intel的软件架构师Tony Mongkolsmai演示了如何在微星尊爵14 AI Evo笔记本电脑上运行一个基于11亿参数的TinyLlama大模型的AI聊天机器人，这个机器人可以进行简单的对话。同时，Windows任务管理器也显示了NPU的有效调用。

然而，当前的开源NPU加速库在功能上还存在一些不足，它支持8比特量化和FP16精度，但尚不支持4比特量化、BF16精度以及NPU/GPU的混合计算等高级功能，且相关技术文档也尚未提供。不过，Intel已承诺将在后续逐步扩展其功能，预期将比现有功能增加一倍，这无疑将为AI开发者们带来更多的便利和可能性。

以上是Intel开源NPU加速库，酷睿Ultra处理器AI PC可运行轻量级大语言模型的详细内容。更多信息请关注PHP中文网其他相关文章！