Nvidia发布TensorRT-LLM开源软件 提升高端GPU芯片上的AI模型性能

Nvidia近日宣布推出一款名为TensorRT-LLM的新开源软件套件，扩展了Nvidia GPU上大型语言模型优化的功能，并突破了部署之后人工智能推理性能的极限。

生成式AI大语言模型因其令人印象深刻的功能而变得流行。它扩大了人工智能的可能性，并广泛应用于各个行业。用户可以通过与聊天机器人对话来获取信息，总结大型文档，编写软件代码，以及发现理解信息的新方法

Nvidia公司超大规模和高性能计算副总裁Ian Buck表示：“大型语言模型推理变得越来越难。模型的复杂性不断增加，模型变得越来越智能，也变得越来越大，这是很自然的，但当模型扩展到单个GPU之外并且必须在多个GPU上运行的时候，就成了一大难题。”

在人工智能方面，推理是模型处理那些前所未见的新数据的一个过程，例如用于总结、生成代码、提供建议或者回答问题，是大型语言模型的主力。

随着模型生态系统的迅速扩展，模型变得越来越庞大，功能也越来越丰富。这也意味着模型变得如此庞大，无法在单个GPU上同时运行，必须进行分割。开发人员和工程师必须手动分配和协调工作负载，以实时获得响应。TensorRT-LLM通过实现“张量并行性”来解决这个问题，允许在多个GPU上进行大规模高效的推理

除此之外，由于当今市场中有各种各样的大型语言模型，所以Nvidia针对目前主流的大型语言模型对核心进行了优化。该软件套件包括了完全优化的、可立即运行的大型语言模型版本，包括Meta Platform的Llama 2、OpenAI的GPT-2和GPT-3、Falcon、MosaicMPT和BLOOM。

应对动态工作负载的“运行中批处理”机制

由于大型语言模型本身的性质，模型的工作负载可能是高度动态的，工作负载的需求和任务使用情况也可能会随着时间的推移而发生变化，单个模型可以同时用作聊天机器人来提问和回答，也可以用于总结大型文档和简短文档。因此，输出大小可能会出现完全不同的数量级。

为了应对这些不同的工作负载，TensorRT-LLM引入了一种称为“运行中批处理”的机制，这是一个优化调度的过程，把文本生成过程分解为多个片段，以便可以将移入或者移出GPU，这样在开始新一批之前就不需要完成整批工作负载了。

以前，如果有大型请求的话，例如对非常大的文档进行摘要提取，那么后面所有的内容都必须等待该过程完成才能使队列继续前进。

Nvidia一直在与众多厂商合作优化TensorRT-LLM，包括Meta、Cohere、Grammarly、Databricks和Tabnine。在他们的帮助下，Nvidia不断简化软件套件中的功能和工具集，包括开源Python应用用户界面，用于定义和优化新架构以定制大型语言模型。

举个例子，当MosaicML将TensorRT-LLM与其现有软件堆栈集成时，在TensorRT-LLM的基础上增加了额外的功能。Databricks公司工程副总裁Naveen Rao表示，这个过程非常简单

“TensorRT-LLM易于使用，功能丰富，包括令牌流、动态批处理、分页注意力、量化等，而且效率很高，为使用 NVIDIA GPU的大型语言模型服务提供了最佳性能，并使我们能够将节省的成本回馈给我们的客户。”

Nvidia表示，TensorRT-LLM以及其带来的好处（包括批处理功能）可以将使用Nvidia H100进行文章摘要提取的推理性能提高超过1倍。在使用GPT-J-6B模型对CNN/每日邮报文章摘要进行A100测试时，仅使用H100的速度比A100快4倍，而启用TensorRT-LLM优化后，速度提升了8倍

TensorRT-LLM为开发人员和工程师提供了深度学习编译器、优化的大型语言模型内核、预处理和后处理、多GPU/多节点通信功能、以及简单的开源API，使他们能够快速优化和执行大型语言模型生产的推理。随着大型语言模型继续重塑数据中心，企业需要更高的性能就意味着开发人员比以往任何时候都更需要能够为他们提供具备功能和访问权限的工具，以提供更高性能的结果。

TensorRT-LLM软件套件现已可供Nvidia开发人员计划中的开发人员抢先体验，并将于下个月集成到用于生产型AI端到端软件平台Nvidia AI Enterprise的NeMo框架中。 TensorRT-LLM软件套件已经发布，供Nvidia开发人员计划中的开发人员提前体验，并将在下个月整合到Nvidia AI Enterprise的NeMo框架中，用于生产型AI端到端软件平台

以上是Nvidia发布TensorRT-LLM开源软件 提升高端GPU芯片上的AI模型性能的详细内容。更多信息请关注PHP中文网其他相关文章！