대형 모델이 대중화되는 해, 제너레이티브 AI 업계에서 가장 중요한 개발 병목 현상은 컴퓨팅 파워 측면에서 나타났습니다. 9월 20일, Sequoia America는 "제너레이티브 AI의 제2막"이라는 기사에서 많은 생성 AI 회사가 지난 1년 동안 개발 병목 현상이 고객 요구가 아니라 GPU 긴장이라는 사실을 빠르게 발견했다고 언급했습니다. 긴 GPU 대기 시간이 일반화되면서 간단한 비즈니스 모델이 등장했습니다. 구독료를 지불하고 대기열을 건너뛰고 더 나은 모델을 얻는 것입니다. 대형 모델 학습에서는 매개변수 크기의 기하급수적인 증가로 인해 학습 비용이 급격히 증가했습니다. GPU 리소스가 부족하기 때문에 하드웨어 성능을 극대화하고 훈련 효율성을 높이는 것이 더욱 중요해졌습니다. AI 개발 컴퓨팅 플랫폼은 중요한 솔루션입니다. AI 개발 컴퓨팅 플랫폼을 사용하면 대규모 모델 개발자는 데이터 준비, 모델 개발, 모델 교육 및 모델 배포를 포괄하는 전체 AI 개발 프로세스를 원스톱으로 완료할 수 있습니다. AI 컴퓨팅 플랫폼은 대규모 모델 개발의 문턱을 낮추는 것은 물론 훈련 최적화, 추론 관리 서비스 등을 제공해 컴퓨팅 자원의 효율성을 높인다. 9월 26일 JD Cloud가 Xi'an City Conference에서 Yanxi AI 개발 및 컴퓨팅 플랫폼을 도입한 것에 따르면 JD Cloud가 출시한 Yanxi AI 개발 및 컴퓨팅 플랫폼을 사용하면 1시간 이내에 완료할 수 있습니다. 이전에는 10명 이상의 과학자로 구성된 팀이 필요했던 데이터 준비, 모델 교육 및 모델 배포의 전체 프로세스에 이제 플랫폼 모델 가속화 도구 최적화를 통해 1~2명의 알고리즘 직원만 필요합니다. 추론 비용. 더 중요한 것은 대형 모델이 수천 개의 산업에 빠르게 진입하고 있는 이때 Yanxi AI 개발 컴퓨팅 플랫폼은 대형 모델 알고리즘 개발자와 애플리케이션 개발자를 동시에 지원하고 애플리케이션 개발자도 사용할 수 있다는 것입니다. 로우코드 형식의 대형 모델 제품 개발. 대형 산업 모델 개발의 문턱이 낮아지고, 대형 모델의 활용과 변형이 더 쉬워질 것입니다. 
대형 모델 시대에는 새로운 디지털 인프라가 필요합니다대형 모델 개발자에게 AI 개발 컴퓨팅 플랫폼이 없다면 이는 다음을 의미합니다. 알고리즘 및 애플리케이션 개발 과정에서 기본 인프라를 구축해야 합니다. GPU 컴퓨팅 리소스 스케줄링, 스토리지 네트워크, 모델 관리 및 제어와 같은 일련의 시스템의 경우 전체 개발 프로세스는 매우 원시적이며 임계값이 매우 높습니다. 대형 모형 산업 응용을 내부적으로 홍보하는 회사의 경우 이는 비용이 급격히 증가하고 교육 효율성을 보장하기가 어렵다는 것을 의미합니다. 1년이 지났고 금융, 마케팅, 자동차, 콘텐츠, 법률, 사무 등 산업계가 대형 모델과 적극적으로 융합하고 있습니다. 대형 모델의 강력한 잠재력은 많은 산업에서 경쟁 구도를 재편하는 데 중요한 요소가 되었습니다. 귀하의 비즈니스와 대규모 모델을 결합하는 시나리오를 더 빠르게 찾고 이를 효율적으로 구현하는 것이 경쟁의 핵심이 되었습니다. 그러나 산업 모델을 개발하는 것은 순조로운 일이 아닙니다. 오늘날 우리는 여전히 일련의 도전과 기회에 직면해 있습니다. 데이터 측면에서 보면 다양한 산업의 데이터가 서로 다른 집중도와 분산화 상태를 보여줍니다. 사이클 시간과 처리 난이도는 다양합니다. 훈련 중에 대규모 다중 모드 데이터를 효율적으로 로드하는 방법은 해결해야 할 문제입니다. 두 번째로, 대규모 모델 훈련 중 환경 안정성, 결함 중단점 복구 처리 및 지속적인 훈련은 훈련 및 배포 프로세스의 훈련 효율성, 컴퓨팅 성능을 효율적으로 예약하고 컴퓨팅을 향상시키는 방법에 큰 영향을 미칩니다. 인력 활용 역시 기업이 고려해야 할 비용 문제이다. JD Cloud는 지난 실습 기간 동안 시안 시 컨퍼런스에서 공유했습니다. JD Cloud는 대규모 산업 모델의 과제는 기술 자체뿐만 아니라 기술과 산업 응용을 결합하는 방법이라는 점을 발견했습니다. 비용, 효율성 및 경험의 균형을 맞추는 방법은 대형 모델 산업을 구현하는 데 있어 진정한 과제입니다. 가장 기본적인 개발 수준으로 돌아가서 비용, 효율성, 경험의 균형을 맞추는 것은 일부 문제를 해결하고 최적화해야 함을 의미합니다. Jingdong Cloud의 IaaS 제품 연구 개발 부서 책임자인 Gong Yicheng은 인터뷰에서 대형 모델 시대의 개발 인프라 요구 사항이 기존 모델과 크게 다르다고 추가로 설명했습니다. 효율성 측면에서 볼 때, 과거 AI 개발 프로세스에서는 상대적으로 저렴한 GPU로도 많은 관련 작업을 완료할 수 있었습니다. 그러나 대규모 모델 시나리오에서는 AI 개발이 A100 및 A800과 같은 고비용 GPU에 크게 의존해 왔습니다. 전력 및 성능 요구 사항이 점점 높아지고 있으며 비용도 빠르게 증가하고 있습니다. "따라서 높은 비용 하에서 이러한 하드웨어의 성능을 극한까지 끌어내는 방법은 대형 모델 개발의 비용 효율성을 위해 특히 중요해졌습니다. 과거 AI 개발에서는 데이터 동시에 작업하려면 많은 GPU가 필요하기 때문에 처리량의 동시성이 대형 모델만큼 높지 않습니다. 따라서 데이터 양 자체가 크지 않더라도 대형 모델을 동시에 읽어들이고 지연이 발생할 수 있습니다. 문제는 고성능 스토리지에 대한 과제를 제기합니다. 과거의 스토리지 메커니즘으로는 새로운 요구 사항이 충족되지 않는 경우가 많습니다. Gong Yicheng은 또한 데이터 액세스 프로세스 중 지연 시간이 줄어들면 전체 모델의 효율성이 높아질 것이라고 언급했습니다. 자체 개발한 스마트 칩을 사용하면 지연 시간이 짧은 네트워크를 완벽하게 사용할 수 있어 전체 모델 학습의 효율성을 높이는 데 도움이 될 수 있습니다. 또한 규모 수준에서 1,000억 개가 넘는 매개변수를 가진 대형 모델을 훈련하려면 기본적으로 훈련에 1,000칼로리 이상이 필요합니다. Gong Yicheng은 이전 AI 개발에서는 이런 일이 극히 드물었기 때문에 개발을 위한 높고 새로운 경험 요구 사항을 제시했으며 해당 개발 인프라가 완전히 달랐다고 말했습니다. 대형 모델 개발의 효율성을 높이고 대형 모델이 업계에서 더 잘 구현되도록 돕고자 하는 기업에게는 새로운 인프라 세트가 필요해졌습니다. JD Cloud, Yanxi AI 컴퓨팅 플랫폼 출시 9월 26일 JD.com은 Xi'an City Conference에서 Yanxi AI 개발 컴퓨팅 플랫폼을 공식 출시했습니다. 이 제품은 데이터 준비 및 모델 개발을 다룹니다. , 사전 설정된 주류 오픈 소스 대형 모델과 일부 상업용 대형 모델은 물론 100개 이상의 추론 도구 및 프레임워크를 갖춘 모델 교육 및 모델 배포 전체 프로세스 AI 개발 기능을 통해 대형 모델 개발의 임계값과 비용을 효과적으로 줄일 수 있습니다. . 
성능 향상 측면에서 Yanxi AI 개발 컴퓨팅 플랫폼은 컴퓨팅 성능과 스토리지 분야에서 많은 기술적 혁신을 이루었습니다. 최하위 수준에서 플랫폼은 GPU 컴퓨팅 성능을 전체적으로 예약하고 조정하여 플랫폼의 기본 리소스 사용에 대한 예약 효율성을 향상시킬 수 있습니다. JD Cloud의 공유에 따르면 컴퓨팅 파워 측면에서 JD Cloud는 플랫폼 내 5세대 클라우드 호스트, 다양한 고성능 제품 형태를 제공할 예정이며, 수십만 개의 컴퓨팅 파워를 지원할 수 있는 최대 컴퓨팅 파워를 제공할 수 있습니다. GPU 노드 크기. 네트워크 수준에서는 자체 개발한 RDMA 혼잡 알고리즘을 사용하여 RDMA 네트워크 트래픽 경로를 전역적으로 제어합니다. 다양한 GPU 노드는 최대 3.2Tbps RDMA 네트워크 대역폭을 지원하며 전송 지연은 기본적으로 약 2us만큼 낮습니다. 능력 지원. 스토리지 측면에서 대규모 모델 교육 데이터 처리량을 위해 JD Cloud의 Yunhai 분산 스토리지는 대규모 모델의 대규모 데이터 및 높은 동시성 클러스터 요구 사항을 지원할 수 있으며 수백 개의 낮은 지연 시간으로 수천만 IOPS를 달성할 수 있습니다. 마이크로초. 새로운 스토리지 및 컴퓨팅 분리 아키텍처를 통해 Yunhai는 고객의 전체 인프라 비용을 30% 이상 절감할 수 있습니다. 이는 이제 오디오와 같은 전통적인 시나리오뿐만 아니라 고성능 컴퓨팅 및 AI 교육과 같은 새로운 시나리오에서도 널리 사용되고 있습니다. 비디오 저장 및 데이터 보고. Yanxi AI 컴퓨팅 플랫폼은 기본 리소스를 최적화하는 것 외에도 대규모 모델 개발자가 전체 링크의 효율성을 향상하고 데이터 처리, 모델 개발, 교육, 배포, 평가 및 교육 추론 최적화 및 모델을 효율적으로 구현하는 데 도움이 될 수 있습니다. 보안 기타 작업:
- 데이터 관리 프로세스에서 Yanxi는 지능형 주석 모델, 데이터 향상 모델 및 데이터 변환 도구 세트를 통해 모델 개발자가 데이터 가져오기, 정리, 주석 및 향상을 구현하는 데 도움을 줄 수 있습니다. 다양한 파일 형식을 가져오고 지능적으로 분석하며 자동 및 반자동 데이터 주석 기능을 제공합니다. 분산된 데이터 저장, 다양한 데이터 형식, 고르지 못한 데이터 품질, 수동 데이터 주석의 낮은 효율성 등의 문제를 해결하는 데 도움을 줍니다.
- 분산 교육 과정에서 Yanxi 플랫폼은 국내 하드웨어에 적응하고 HPC를 지원하며 고성능 파일 시스템을 통합하여 하드웨어 리소스가 완전히 활용되도록 보장하는 리소스 할당 및 예약 전략을 제공합니다. 교육 업무 관리를 단순화합니다. 네트워크 및 알고리즘 복잡성의 급격한 증가로 인해 컴퓨팅 리소스가 부족하고 낭비되는 문제, HPC, 고성능 컴퓨팅, 고성능 파일 시스템 및 이기종 하드웨어의 다양성을 사용하고 적응하는 데 도움이 됩니다. 훈련 및 학습 비용 개선 및 기타 문제.
- 코드 프리 개발 기능 측면에서 대형 모델의 개발 프로세스를 더욱 단순화합니다. 사용자는 플랫폼에 내장된 대규모 모델을 직접 선택하고 데이터를 업로드한 후 계속해서 훈련 방법을 선택할 수 있으며, 하이퍼파라미터와 AutoML의 두 가지 코드 없는 훈련 방법 중 하나를 지정한 후 미세 조정된 모델 또는 애플리케이션을 얻을 수 있습니다.
- 애플리케이션 계층에서 Yanxi 플랫폼에는 질문 및 답변 개발, 문서 분석 개발, 플러그인 개발과 같은 일반적인 애플리케이션 시나리오를 위한 코드 없는 개발 도구가 내장되어 있습니다. 모델, 지식 베이스, 프롬프트 템플릿, 개발 플랫폼을 선택한 후 클릭 한 번으로 배포하세요. 모니터링, 추적 테스트 및 테스트 평가를 지원할 수 있습니다.
전체적으로 Yanxi AI 개발 및 컴퓨팅 플랫폼은 다양한 전문 수준의 사용자 요구를 충족할 수 있습니다. 대규모 모델 알고리즘 개발자의 경우 데이터 준비, 모델 선택, 코드 튜닝, 배포 및 릴리스 등 전체 프로세스를 지원할 수 있습니다. 애플리케이션 계층 개발자의 경우 코드 없는 접근 방식을 사용하여 시각적으로 모델을 선택하고, 데이터를 업로드하고, 매개변수를 구성할 수 있으며, 코드를 작성하지 않고도 작업을 트리거하고 모델 작업을 시작하여 임계값을 낮출 수 있습니다. 모델 도입 측면에서는 현재 플랫폼에 Yanxi, Spark, LLama2 등 상용 모델과 오픈 소스 모델이 내장되어 있습니다. Gong Yicheng은 Yanxi의 모델 선택 접근 방식이 수량보다 품질에 더 초점을 맞추는 경향이 있다고 말했습니다. 사용자가 선택 불안에 빠지는 것을 피하기 위해 다양한 기술 분야에서 상대적으로 뛰어난 비즈니스 모델과 기본 모델을 중심으로 구축된 일부 산업 모델을 선택합니다. 또한 Yanxi는 나중에 플랫폼에서 실제로 대규모 구현을 달성한 소매, 건강 시나리오 및 산업 응용 프로그램 모델과 같은 기본 모델을 기반으로 JD.com에서 구축한 산업 모델 응용 프로그램을 소개하는 데 중점을 둘 것입니다. 관련 사업의 구현을 촉진하기 위한 플랫폼 개발. 현재 Yanxi에는 세 가지 제공 방법이 있습니다. 하나는 MaaS 서비스 형식이고, 개발자는 API를 통해 종량제 방식으로 비용 효율적인 방식으로 대규모 모델을 탐색하고 사용할 수 있습니다. cloud SaaS 버전을 통해 사용자는 플랫폼에서 제공하는 원스톱 모델 개발, 교육 및 배포 기능을 사용할 수 있으며, 퍼블릭 클라우드 리소스의 탄력적인 공급이라는 이점을 기반으로 최소 비용으로 대규모 산업 모델의 개발 및 배포를 시작할 수 있습니다. 세 번째는 데이터 보안에 대한 보다 특별한 요구 사항이 있는 고객을 충족하기 위한 민영화된 제공 버전이며, 데이터는 완전히 현지화됩니다.앞으로 Yanxi는 플랫폼 기능을 지속적으로 업그레이드하고 국내 하드웨어 적용 범위, 모델 생태 협력, 플러그인 개발, 애플리케이션 평가 서비스, 올인원 기계 제공, 에이전트 개발 서비스를 지속적으로 개선할 것입니다. 등을 활용하여 산업계의 문제를 체계적으로 해결하는데 도움을 주고 있습니다. 문제점으로는 대형 모델 개발 및 구현의 어려움, 대형 모델 애플리케이션 개발의 어려움, 모델 훈련 및 추론 비용의 고가, 모델 및 애플리케이션 확보의 어려움, 고성능 활용 및 적응의 어려움 등이 있습니다. 컴퓨팅, 고성능 파일 및 이기종 하드웨어. JD 그룹 기술 위원회 회장이자 JD Cloud 부문 사장인 Cao Peng은 Xi'an City Conference에서 다음과 같이 언급했습니다. 대형 모델 업계에서는 대형 모델이 점차 대중화되고 있으며 산업 구현 과정에서 더 나은 산업 효율성을 높이고 더 큰 산업 가치를 창출하며 더 많은 시나리오에서 복제될 수 있기를 희망합니다. 모델 교육 프로세스 및 인프라에 대한 더 높은 요구 사항을 제시합니다. 모델은 사용이 더 쉬워야 하고, 임계값과 비용이 더 낮아야 하며, 컴퓨팅 성능을 유연하게 사용할 수 있어야 합니다. AI 개발 컴퓨팅 플랫폼은 이러한 문제를 해결하는 중요한 솔루션 중 하나입니다. 고성능이고 사용하기 쉬운 AI 개발 컴퓨팅 플랫폼을 통해 더 많은 업계 당사자가 대규모 모델 산업 구축에 참여할 수 있습니다. 저렴한 비용으로 더 많은 영감을 제공합니다. 다중 산업 대형 모델의 출현으로 수천 개의 산업에서 대형 모델의 구현이 가속화되었습니다. 실제 시장에서 Gong Yicheng은 다음과 같이 말했습니다. 업계 고객이 AI 컴퓨팅 플랫폼을 선택할 때 고려해야 할 주요 사항은 업계 이해와 플랫폼 효율성입니다. 다른 AI 컴퓨팅 플랫폼과 비교하여 Yanxi AI 개발 컴퓨팅 플랫폼은 궁극적인 성능을 향상시킬 수 있을 뿐만 아니라 소매, 금융, 물류, 건강 등과 같은 유리한 시나리오에서 JD.com의 장기적인 경험을 결합하여 대형 산업 모델의 보다 전문적인 선택. Yanxi AI 컴퓨팅 플랫폼의 모델 생태계에는 우수한 비즈니스 모델과 오픈 소스 모델이 내장되어 있을 뿐만 아니라 문턱을 더욱 낮추기 위해 Yanxi AI 컴퓨팅 플랫폼은 이러한 기능을 더욱 강화할 것입니다. 중국어 능력, 수학 능력 등 대형 모델을 통해 사용자는 사용하기 쉽고 전문적인 대형 모델을 선택할 수 있습니다. 더 중요한 것은 Yanxi AI 개발 및 컴퓨팅 플랫폼도 대규모 모델 애플리케이션 개발자를 대상으로 하며 코드 없는 방식으로 독점 모델 구축을 지원하기 때문에 위의 기본 모델 외에도 Yanxi 플랫폼은 또한 사용자가 자신의 업계에서 신속하게 구현할 수 있도록 응용 시나리오에 대한 더 많은 독점 모델을 제공합니다. 현재 Yanxi 플랫폼에서 제공하는 애플리케이션 시나리오별 모델에는 주로 질문 및 답변 개발, 문서 분석 및 개발과 같은 성숙한 고주파 시나리오가 포함됩니다. 이러한 응용 프로그램 Jingdong은 자신의 유리한 영역에서 여러 번 검증되었으며 대형 모델과 결합하면 효율성을 빠르게 향상시킬 수 있습니다. 대화 도구를 예로 들면, Miniso와 JD Cloud는 2021년부터 Miniso Pinmen 고객 서비스팀, 사용자 운영팀, IT서비스 운영 및 유지관리팀입니다. 2022년 4월, 온라인 고객 서비스 로봇, 음성 응답 로봇, 음성 아웃바운드 호출 로봇, 지능형 품질 검사, 지능형 지식 기반 등 일련의 지능형 제품을 포함하는 Yanxi 시리즈 제품이 차례로 출시되어 상당한 성과를 거두었습니다. 결과. 피드백 데이터에 따르면 Yanxi 시리즈 제품의 현재 일일 평균 상담 서비스 양은 거의 10,000회에 달하며 그 중 온라인 고객 서비스 로봇 응답 정확도는 97%를 초과하고 독립적인 수신율은 70%를 초과하며 서비스는 비용은 40% 절감됩니다. 로봇의 응답 정확도는 93%를 초과하고 고객 문제의 46.1%를 독립적으로 처리합니다. 지능형 품질 검사는 수십만 번 완료되었으며 거의 3,000개의 서비스 위험 문제가 발견 및 처리되었습니다. 사용자 만족도는 20% 증가했습니다. 지능형 지식 베이스의 콘텐츠는 "MINISO" 브랜드에 약 8,800개 핵심 SKU, "TOP TOY" 브랜드에 약 4,600개 SKU를 보유하고 있습니다. 대형 모델을 구현하는 실무 과정이 단일 지점에서 외부로 확산되는 단계에 이르렀습니다. 업계에는 미니소와 유사한 산업체들이 많이 있는데, 이들에게 대화로봇 시나리오는 더 큰 가치를 가져다 줄 수 있습니다. Xi AI 개발 및 컴퓨팅 플랫폼의 출시 측면에서 산업 기업은 최하위 수준의 컴퓨팅 성능, 데이터 관리, 코드 없는 애플리케이션 및 기타 전체 링크를 활용할 수 있으며 이러한 기업에 더 낮은 임계값, 더 낮은 임계값, 더 낮은 임계값을 제공할 것입니다. 비용 절감, 교육 주기 단축 등 대규모 모델 산업화 계획. 앞으로는 미니소와 유사한 사례가 더 자주 나타날 것으로 예상된다. 또한 JD Cloud는 다른 경쟁 제품과 비교하여 JD Yanxi AI 컴퓨팅 플랫폼이 채택한 로우 코드 측면이 애플리케이션 개발자의 개발 임계값을 더욱 낮추고 고성능 스토리지가 완전히 독립적이며 전반적인 기술 시스템은 높은 수준의 완벽한 적응성과 높은 성능 효율성을 갖추고 있습니다. 새로운 디지털 인프라의 대중화와 함께 수천 가지 산업 분야에서 대형 모델의 구현이 더욱 빨라질 것이며, 비용 효율성과 혁신이라는 불가능한 삼각관계는 상상의 여지를 더 넓힐 것입니다. 위 내용은 대규모 모델을 쉽게 접근할 수 있게 해주는 Yanxi AI 개발 및 컴퓨팅 플랫폼이 공식 출시되었습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
