VMware 與 NVIDIA 為企業開啟生成 AI 時代

VMware和 NVIDIA於今日宣布擴展雙方的策略夥伴關係，幫助成千上萬家使用 VMware 雲端基礎架構的企業做好準備，迎接AI時代的到來。

VMware Private AI Foundation with NVIDIA 將使企業能夠自訂模型並運行各種生成式 AI 應用，例如智慧聊天機器人、助理、搜尋和摘要等。該平台將作為全整合式解決方案，採用 NVIDIA 提供的生成式 AI 軟體和加速運算，基於 VMware Cloud Foundation 構建，並針對 AI 進行了最佳化。

VMware 執行長Raghu Raghuram 表示：「生成式AI 與多雲可謂珠聯璧合。客戶的資料無所不在，遍佈其資料中心、邊緣、雲端等多處。我們將與NVIDIA 一同助力企業放心地在數據附近運行生成式AI 工作負載，並解決其在企業資料隱私、安全性和控制方面的問題。」

NVIDIA 創辦人兼執行長黃仁勳表示：「世界各地的企業都在競相將生成式AI 整合到自身業務中。透過與VMware 擴大合作，我們將能夠為金融服務、醫療、製造等領域的成千上萬家客戶提供其所需的全端軟體和運算，使其能夠使用基於自身資料客製化的應用，充分挖掘生成式AI 的潛力。」

全端式運算大幅提升生成式 AI 的效能

#為更快實現業務效益，企業希望簡化並提高生成式 AI 應用的開發、測試和部署效率。根據麥肯錫的預測，生成式 AI 每年可為全球經濟帶來多達 4.4 兆美元的成長(1)。

VMware Private AI Foundation with NVIDIA 將助力企業充分利用這一能力，以定制大語言模型，創建供內部使用的更加安全的私有模型，將生成式AI 作為一項服務提供給用戶，並更加安全地大規模運行推理工作負載。

該平台計劃提供的各種整合式 AI 工具，將幫助企業經濟高效地運行使用其私有資料訓練而成的成熟模型。這項建立在 VMware Cloud Foundation 和 NVIDIA AI Enterprise 軟體上的平台預計能夠提供以下方面的優勢：

• 隱私：將透過能夠保護資料隱私並確保存取安全的架構，使客戶能夠在任何資料所在地輕鬆運行 AI 服務。

• 選擇：從NVIDIA NeMo™到Llama 2等，企業在建置和運行其模型的位置上將擁有廣泛的選擇空間，包括領先的 OEM 硬體配置以及未來的公有雲和服務供應商解決方案。

• 性能：近期的行業基準測試表明，某些用例在 NVIDIA 加速的基礎設施上運行的性能與裸機性能相當，甚至超過了裸機性能。

• 資料中心規模：虛擬化環境中的GPU 擴展優化使AI 工作負載能夠在單一虛擬機器和多個節點上擴展到最多16 顆vGPU/GPU，從而加快生成式AI 模型的微調和部署速度。

• 更低的成本：將最大程度地利用 GPU、DPU 和 CPU 的所有運算資源以降低總體成本，並創建可在各個團隊間高效共享的池化資源環境。

• 加速儲存：VMware vSAN Express Storage Architecture 提供效能經過最佳化的 NVMe 存儲，並支援透過 RDMA 實現 GPUDirect® 存儲，因此無需 CPU 即可實現從儲存到 GPU 的直接 I/O 傳輸。

• 加速網路：vSphere 與 NVIDIA NVSwitch™ 技術之間的深度整合將進一步確保多 GPU 模型的執行不會出現 GPU 間瓶頸問題。

• 快速部署和價值實現時間：vSphere Deep Learning VM 鏡像和鏡像庫將提供穩定的交鑰匙解決方案鏡像，該鏡像預先安裝了各種框架和性能經過優化的庫，可實現快速原型開發。

該平台將採用的 NVIDIA NeMo是 NVIDIA AI Enterprise（NVIDIA AI 平台的作業系統）中包含的端對端雲端原生框架，可協助企業在幾乎任何地點建置、自訂和部署生成式 AI 模型。 NeMo 集自訂框架、護欄工具包、資料整理工具和預訓練模型於一身，使企業能夠以簡單、經濟且快速的方式來採用生成式 AI。

為將生成式 AI 部署到生產中，NeMo 使用 TensorRT for Large Language Models（TRT-LLM），以加速並優化 NVIDIA GPU 上最新 LLM 的推理效能。透過 NeMo，VMware Private AI Foundation with NVIDIA 將使企業能夠匯入自己的數據，並在 VMware 混合雲基礎架構上建置和運行自訂生成式 AI 模型。

在VMware Explore 2023大會上，NVIDIA與VMware將重點介紹企業內部的開發人員如何使用全新NVIDIA AI Workbench 提取社區模型（例如Hugging Face 上提供的Llama 2），對這些模型進行遠端自訂並在VMware環境中部署生產級生成式AI。

生態圈對 VMware Private AI Foundation With NVIDIA 的廣泛支持

VMware Private AI Foundation with NVIDIA將得到戴爾、慧與和聯想的支持。這三家企業將率先提供搭載 NVIDIA L40S GPU、NVIDIA BlueField®-3 DPU 和 NVIDIA ConnectX®-7 智慧網卡的系統，這些系統將加速企業 LLM 客製化和推理工作負載。

相較於 NVIDIA A100 Tensor Core GPU，NVIDIA L40S GPU 可將生成式 AI 的推理效能和訓練效能分別提高 1.2 倍和 1.7 倍。

NVIDIA BlueField-3 DPU 可加速、卸載和隔離 GPU 或 CPU 上的龐大運算工作負載，其中包含虛擬化、網路、儲存、安全，以及其他雲端原生 AI 服務。

NVIDIA ConnectX-7 智慧網卡可為資料中心基礎設施提供智慧、加速網絡，以承載全球一些要求嚴苛的 AI 工作負載。

VMware Private AI Foundation with NVIDIA 建立在兩家公司長達十年的合作基礎上。雙方的聯合研發成果優化了 VMware 的雲端基礎架構，使其能夠以媲美裸機的效能運行NVIDIA AI Enterprise。 VMware Cloud Foundation 所提供的資源及基礎架構管理與彈性將進一步惠及雙方共同的客戶。

供應情況

VMware 計劃於 2024 年初發布 VMware Private AI Foundation with NVIDIA。

以上是VMware 與 NVIDIA 為企業開啟生成 AI 時代的詳細內容。更多資訊請關注PHP中文網其他相關文章！