NVIDIA釋放NEMO微服務以簡化AI代理開發

企業AI面臨數據集成挑戰

企業AI的應用面臨一項重大挑戰：構建能夠通過持續學習業務數據來保持準確性和實用性的系統。 NeMo微服務通過創建Nvidia所描述的“數據飛輪”來解決這個問題，允許AI系統通過持續接觸企業信息和用戶互動來保持相關性。

這個新推出的工具包包含五個關鍵微服務：

1. NeMo Customizer處理大型語言模型的微調，具有更高的訓練吞吐量。
2. NeMo Evaluator提供針對自定義基準的AI模型簡化評估。
3. NeMo Guardrails實施安全控制，以保持合規性和適當的響應。
4. NeMo Retriever能夠訪問企業系統中的信息。
5. NeMo Curator處理和組織數據，用於模型訓練和改進。

這些組件協同工作，構建能夠作為數字團隊成員的AI代理，能夠在最少人工監督的情況下執行任務。與標準聊天機器人不同，這些代理可以採取自主行動，並根據企業數據做出決策。它們連接到現有系統以訪問存儲在組織邊界內的當前信息。

技術架構支持持續改進

NeMo和Nvidia的推理微服務（稱為NIM）之間的區別在於它們互補的功能。根據Nvidia企業生成式AI軟件高級總監Joey Conway的說法，“NIM用於推理部署——運行模型，輸入問題，輸出答案。NeMo專注於如何改進該模型：數據準備、訓練技術、評估。”當NeMo完成模型優化後，可以通過NIM進行生產部署。

早期實施證明了實際的業務影響。電信軟件提供商Amdocs使用NeMo微服務開發了三個專業代理。 AT&T與Arize和Quantiphi合作，構建了一個每周處理近10,000份更新文檔的代理。思科的Outshift部門與Galileo合作，創建了一個編碼助手，其響應速度比同類工具更快。

這些微服務作為Docker容器運行，並通過Kubernetes進行編排，允許跨各種計算環境進行部署。它們支持多種AI模型，包括Meta的Llama、微軟的Phi系列、谷歌的Gemma和Mistral。 Nvidia自己的Llama Nemotron Ultra（專注於推理能力）也與該系統兼容。

此版本進入了一個競爭激烈的領域，企業擁有眾多AI開發選項。替代方案包括亞馬遜的Bedrock、微軟的Azure AI Foundry、谷歌的Vertex AI、Mistral AI、Cohere和Meta的Llama堆棧。 Nvidia通過與其硬件生態系統的集成以及通過AI Enterprise軟件平台提供的企業級支持來區分其產品。

Nvidia Nemo和企業AI應用

對於技術團隊來說，微服務提供了降低實施複雜性的基礎設施。容器化方法允許在本地或云環境中部署，並具有企業安全性和穩定性功能。這種靈活性解決了通常伴隨著AI實施的數據主權和法規遵從性問題。

評估這些工具的組織應考慮其現有的GPU基礎設施投資、數據治理要求以及與現有系統的集成需求。對能夠通過不斷變化的業務數據保持準確性的AI代理的需求將推動對支持持續學習週期的平台的採用。

微服務方法反映了整個行業向模塊化AI系統的轉變，這些系統可以針對特定的業務領域進行定制，而無需重建基本組件。對於技術決策者而言，此版本代表了企業AI工具成熟的又一步，縮小了研究能力與實際業務實施之間的差距。

隨著企業從實驗轉向生產AI系統，簡化持續改進模型創建的工具變得越來越有價值。數據飛輪概念代表了一種架構模式，其中AI系統通過持續接觸組織信息來保持與業務需求的一致性。

以上是NVIDIA釋放NEMO微服務以簡化AI代理開發的詳細內容。更多資訊請關注PHP中文網其他相關文章！