NVIDIA RTX顯示卡AI推理提速5倍！ RTX PC輕鬆在本地搞定大模型

在微軟Iginte全球技術大會上，微軟發布了一系列AI相關的全新優化模型和開發工具資源，旨在幫助開發者更充分地發揮硬體性能，擴展AI應用領域

特別是對於當下在AI領域佔據絕對主導地位的NVIDIA來說，微軟這次送上了一份大禮包，無論是面向OpenAI Chat API的TensorRT-LLM封裝接口，還是RTX驅動的效能改進DirectML for Llama 2，以及其他熱門大語言模型(LLM)，都可以在NVIDIA硬體上獲得更好的加速和應用。

其中，TensorRT-LLM是一款用於加速LLM推理的函式庫，可大幅提升AI推理效能，還在持續更以支援越來越多的語言模型，而且它還是開源的。

NVIDIA在10月發布了適用於Windows平台的TensorRT-LLM。對於配備RTX 30/40系列GPU顯示卡的桌上型電腦和筆記型電腦來說，只要顯存達到8GB以上，就能更輕鬆地完成高要求的AI工作負載

現在，Tensor RT-LLM for Windows可以透過全新的封裝接口，與OpenAI 廣受歡迎的聊天API 相容，因此可以在本地直接運行各種相關應用，而不需要連接雲端，有利於在PC 上保留私人和專有數據，防範隱私外洩。

只要是經過TensorRT-LLM優化的大型語言模型，都可以與這個封裝介面配合使用，包括Llama 2、Mistral、NV LLM等等

對於開發者來說，無需繁瑣的程式碼重寫和移植，只需修改一兩行程式碼，就可以讓AI應用程式在本地快速執行。

↑↑↑基於TensorRT-LLM的微軟Visual Studio程式碼外掛程式－Continue.dev程式設計助理

本月底還會有TensorRT-LLM v0.6.0版本更新，將會在RTX GPU上帶來最多達5倍的推理性能提升，並支援更多熱門的LLM，包括全新的70億參數Mistral、80億參數Nemotron-3，讓桌上型電腦和筆電也能隨時、快速、準確地本地運行LLM。

根據實測數據，RTX 4060顯示卡搭配TenroRT-LLM，推理表現可以跑到每秒319 tokens，相比其他後端的每秒61 tokens提速足足4.2倍。

RTX 4090則可以從每秒tokens加速到每秒829 tokens，提升幅度達2.8倍。

憑藉著強大的硬體效能、豐富的開發生態和廣泛的應用場景，NVIDIA RTX正在成為本地AI不可或缺的有力助手。同時，隨著最佳化、模型和資源的不斷豐富，AI功能在億萬台RTX PC上的普及也加速推進

目前已經有400多個合作夥伴發布了支援RTX GPU加速的AI應用、遊戲，而隨著模型易用性的不斷提高，相信會有越來越多的AIGC功能出現在Windows PC平台上。

以上是NVIDIA RTX顯示卡AI推理提速5倍！ RTX PC輕鬆在本地搞定大模型的詳細內容。更多資訊請關注PHP中文網其他相關文章！