VMware와 NVIDIA가 기업용 생성 AI 시대를 선도합니다.

VMware와 NVIDIA는 오늘 VMware 클라우드 인프라를 사용하는 수천 개의 기업이 AI 시대를 준비할 수 있도록 전략적 파트너십을 확대한다고 발표했습니다.

NVIDIA와 함께하는 VMware Private AI Foundation을 통해 기업은 모델을 맞춤화하고 지능형 챗봇, 보조자, 검색 및 요약 등과 같은 다양한 생성 AI 애플리케이션을 실행할 수 있습니다. 이 플랫폼은 VMware Cloud Foundation을 기반으로 구축되고 AI에 최적화된 NVIDIA의 생성 AI 소프트웨어와 가속 컴퓨팅을 사용하는 완전히 통합된 솔루션이 될 것입니다.

VMware의 CEO인 Raghu Raghuram은 다음과 같이 말했습니다. "제너레이티브 AI와 멀티 클라우드는 완벽한 조화를 이룹니다. 고객의 데이터는 데이터 센터, 엣지, 클라우드 등 어디에나 있습니다. NVIDIA와 함께 우리는 기업이 가까운 곳에서 운영되도록 도울 것입니다. 생성적 AI 워크로드를 생성하고 기업 데이터 개인 정보 보호, 보안 및 제어 문제를 해결합니다.”

NVIDIA 창립자 겸 CEO Jensen Huang은 다음과 같이 말했습니다. "전 세계 기업들이 생성 AI를 비즈니스에 통합하기 위해 경쟁하고 있습니다. VMware와의 협력을 확대함으로써 우리는 금융 서비스, 의료, 제조 및 기타 분야에서 수천 명의 고객에게 서비스를 제공할 수 있을 것입니다. . 수만 명의 고객이 필요한 풀 스택 소프트웨어와 컴퓨팅을 제공하여 자신의 데이터를 기반으로 맞춤화된 애플리케이션을 사용하고 생성 AI의 잠재력을 최대한 활용할 수 있습니다.”

풀스택 컴퓨팅으로 생성 AI의 성능이 크게 향상됩니다

비즈니스 이점을 더 빠르게 실현하기 위해 기업은 생성 AI 애플리케이션의 개발, 테스트 및 배포 효율성을 단순화하고 향상시키기를 원합니다. McKinsey에 따르면, 생성 AI는 매년 세계 경제에 4조 4천억 달러를 추가할 수 있습니다(1).

NVIDIA와 함께하는 VMware Private AI Foundation은 기업이 대규모 언어 모델을 맞춤화하고, 내부용으로 더욱 안전한 프라이빗 모델을 생성하고, 생성적 AI를 사용자에게 서비스로 제공하고, 대규모 언어 모델을 보다 안전하게 실행하는 기능을 최대한 활용할 수 있도록 지원합니다. 대규모 추론 워크로드.

플랫폼에서 제공할 예정인 다양한 통합 AI 도구는 기업이 개인 데이터를 사용하여 훈련된 성숙한 모델을 비용 효율적으로 실행하는 데 도움이 될 것입니다. VMware Cloud Foundation 및 NVIDIA AI Enterprise 소프트웨어를 기반으로 구축된 이 플랫폼은 다음과 같은 이점을 제공할 것으로 예상됩니다.

• 개인 정보 보호: 고객은 데이터 개인 정보를 보호하고 액세스를 보호하는 아키텍처를 통해 데이터가 어디에 있든 쉽게 AI 서비스를 실행할 수 있습니다.

• 선택: NVIDIA NeMo™부터 Llama 2 등에 이르기까지 기업은 주요 OEM 하드웨어 구성과 미래의 공용 클라우드 및 서비스 제공업체 솔루션을 포함하여 모델을 구축하고 실행할 위치에 대한 광범위한 선택권을 갖게 됩니다.

• 성능: 최근 업계 벤치마크에 따르면 NVIDIA 가속 인프라에서 실행되는 특정 사용 사례는 베어메탈 성능과 일치하거나 초과하는 것으로 나타났습니다.

• 데이터 센터 확장: 가상화된 환경에서 최적화된 GPU 확장을 통해 AI 워크로드를 단일 VM 및 여러 노드에서 최대 16개의 vGPU/GPU로 확장할 수 있으므로 생성적 AI 모델의 미세 조정 및 배포가 가속화됩니다.

• 비용 절감: GPU, DPU 및 CPU의 모든 컴퓨팅 리소스를 최대화하여 전체 비용을 절감하고 팀 간에 효율적으로 공유할 수 있는 풀 리소스 환경을 조성합니다.

• 가속화된 스토리지: VMware vSAN Express 스토리지 아키텍처는 성능이 최적화된 NVMe 스토리지를 제공하고 RDMA를 통해 GPUDirect® 스토리지를 지원하므로 CPU 없이도 스토리지에서 GPU로 I/O를 직접 전송할 수 있습니다.

• 가속화된 네트워킹: vSphere와 NVIDIA NVSwitch™ 기술의 긴밀한 통합으로 GPU 간 병목 현상 없이 다중 GPU 모델 실행이 더욱 보장됩니다.

• 신속한 배포 및 가치 실현 시간: vSphere Deep Learning VM 이미지 및 라이브러리는 신속한 프로토타이핑을 위해 다양한 프레임워크 및 성능 최적화 라이브러리가 사전 설치된 안정적인 턴키 솔루션 이미지를 제공합니다.

이 플랫폼은 NVIDIA AI 플랫폼의 운영 체제인 NVIDIA AI Enterprise에 포함된 엔드투엔드 클라우드 네이티브 프레임워크인 NVIDIA NeMo를 사용하여 기업이 생성적 AI 모델을 거의 모든 곳에서 구축, 맞춤화 및 배포할 수 있도록 지원합니다. NeMo는 맞춤형 프레임워크, 가드레일 툴킷, 데이터 랭글링 도구, 사전 훈련된 모델을 결합하여 기업이 간단하고 저렴하며 빠른 방법으로 생성 AI를 채택할 수 있도록 지원합니다.

생성 AI를 프로덕션에 배포하기 위해 NeMo는 TRT-LLM(TensorRT for Large Language Models)을 사용하여 NVIDIA GPU에서 최신 LLM의 추론 성능을 가속화하고 최적화합니다. NeMo를 통해 NVIDIA와 함께하는 VMware Private AI Foundation을 통해 기업은 자체 데이터를 가져오고 VMware 하이브리드 클라우드 인프라에서 맞춤형 생성 AI 모델을 구축 및 실행할 수 있습니다.

VMware Explore 2023 컨퍼런스에서 NVIDIA와 VMware는 기업 내 개발자가 새로운 NVIDIA AI Workbench를 사용하여 커뮤니티 모델(예: Hugging Face에서 제공되는 Llama 2)을 추출하고 이러한 모델을 원격으로 사용자 정의하고 VMware 환경 프로덕션급 생성 AI를 .

NVIDIA를 통한 VMware Private AI Foundation에 대한 광범위한 생태계 지원

NVIDIA 기반 VMware Private AI Foundation은 Dell, HPE 및 Lenovo에서 지원됩니다. 세 회사는 기업 LLM 사용자 정의 및 추론 워크로드를 가속화하는 NVIDIA L40S GPU, NVIDIA BlueField®-3 DPU 및 NVIDIA ConnectX®-7 SmartNIC로 구동되는 시스템을 최초로 제공할 것입니다.

NVIDIA A100 Tensor Core GPU와 비교하여 NVIDIA L40S GPU는 생성 AI의 추론 성능과 훈련 성능을 각각 1.2배와 1.7배 향상시킬 수 있습니다.

NVIDIA BlueField-3 DPU는 가상화, 네트워킹, 스토리지, 보안 및 기타 클라우드 기반 AI 서비스를 포함하여 GPU 또는 CPU에서 대규모 컴퓨팅 워크로드를 가속화, 오프로드 및 격리합니다.

NVIDIA ConnectX-7 SmartNIC는 데이터 센터 인프라에 지능적이고 가속화된 네트워킹을 제공하여 세계에서 가장 까다로운 AI 워크로드를 호스팅합니다.

NVIDIA와 함께하는 VMware Private AI Foundation은 두 회사 간의 10년 간의 협력을 기반으로 구축되었습니다. 양사의 공동 연구개발 결과, VMware의 클라우드 인프라는 베어메탈 수준의 성능으로 NVIDIA AI Enterprise를 실행할 수 있도록 최적화되었습니다. VMware Cloud Foundation이 제공하는 리소스 및 인프라 관리와 유연성은 상호 고객에게 더욱 큰 도움이 될 것입니다.

가용성

VMware는 2024년 초에 NVIDIA와 함께 VMware Private AI Foundation을 출시할 계획입니다.

위 내용은 VMware와 NVIDIA가 기업용 생성 AI 시대를 선도합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!