英偉達揭示新版 TensorRT-LLM：推理能力增長 5 倍，適用於 8GB 以上顯示卡本地運行，並支援 OpenAI 的 Chat API

11 月 16 日消息，微軟 Ignite 2023 大會已於今天拉開帷幕，英偉達高管出席本次大會並宣布更新 TensorRT-LLM，添加了對 OpenAI Chat API 的支持。

英偉達在今年10月發布了Tensor RT-LLM開源程式庫，旨在為資料中心和Windows PC提供支援。這項開源程式庫的最大特色是，當Windows PC搭載英偉達的GeForce RTX GPU時，TensorRT-LLM能夠將LLM在Windows PC上的運行速度提高四倍

英偉達在今天Ignite 2023 大會上，宣布更新TensorRT-LLM，添加OpenAI 的Chat API 支持，並增強DirectML 功能，改善Llama 2 和Stable Diffusion 等AI 模型的性能。 ###############TensorRT-LLM 可以在本地使用英偉達的 AI Workbench 完成。開發者可以利用這個統一且易於使用的工具包，在個人電腦或工作站上快速建立、測試和自訂預先訓練的生成式 AI 模型和 LLM。英偉達也為此推出了一個搶先體驗註冊頁面######英偉達將於本月稍後發布TensorRT-LLM 0.6.0 版本更新，推理性能提高5 倍，並支持Mistral 7B 和Nemotron-3 8B等其它主流LLM。 ######在8GB顯存以上的GeForce RTX 30系列和40系列GPU上，用戶可以運行，並且一些便攜式Windows設備也可以使用快速、準確的本地LLM功能########### ##

以上是英偉達揭示新版 TensorRT-LLM：推理能力增長 5 倍，適用於 8GB 以上顯示卡本地運行，並支援 OpenAI 的 Chat API的詳細內容。更多資訊請關注PHP中文網其他相關文章！