Bytedance Beanbao 대형 모델 출시, Volcano Engine 풀스택 AI 서비스로 기업의 지능적 혁신 지원
- WBOY원래의
- 2024-06-05 19:59:21845검색
Volcan Engine 사장 Tan Dai
기업은 대형 모델을 잘 구현해야 하지만 모델 효과, 추론 비용, 구현의 어려움이라는 세 가지 주요 과제에 직면합니다. 복잡한 문제를 해결하기 위한 지원으로 우수한 기본 대형 모델이 있어야 합니다. , 대규모 모델을 널리 사용할 수 있도록 저비용 추론 서비스도 있어야 하며 기업이 시나리오를 구현하는 데 도움이 되는 더 많은 도구, 플랫폼 및 애플리케이션이 필요합니다.
——화산엔진 사장 Tan Dai
01.
Beanbao 대형 모델 데뷔
모델 연마를 위한 대규모 사용
모델 효과는 AI의 가장 중요한 과제입니다. 구현. Tan Dai는 좋은 모델은 많은 양의 사용을 통해서만 연마될 수 있다고 지적했습니다. 현재 Doubao 모델은 하루에 1,200억 개의 텍스트 토큰을 처리하고 3,000만 개의 이미지를 생성합니다.
기업이 대규모 모델 시나리오를 구현하는 데 도움을 주기 위해 Bytedance가 독자적으로 개발한 Doubao 대규모 모델은 Volcano 엔진을 통해 외부 세계에 공식적으로 제공됩니다. 기업은 자신의 비즈니스 시나리오 요구 사항에 따라 유연하게 선택하고 신속하게 구현할 수 있습니다.
- Doubao는 범용 모델 프로입니다. ByteDance가 자체 개발한 LLM 모델 전문 버전으로 128k 긴 텍스트를 지원하고 전체 시리즈를 미세 조정할 수 있으며 이해, 생성, 논리 등과 같은 더욱 강력하고 포괄적인 기능을 갖추고 있습니다. Q&A, 요약, 생성, 분류 등에 적합합니다. 시나리오
- Dubao 범용 모델 라이트: ByteDance 자체 개발 LLM 모델 경량 버전으로, 전문 버전보다 낮은 토큰 비용과 짧은 대기 시간을 제공하여 기업에 제공됩니다. 유연하고 경제적인 모델 선택 가능
- Doubao·롤플레잉 모델: 맞춤형 캐릭터 생성 기능, 더욱 강력한 상황 인식 및 플롯 프로모션 기능, 유연한 롤플레잉 요구 사항 충족
- Doubao·음성 합성 모델: 자연스럽고 생생한 음성 합성 능력을 제공하며 다양한 감정 표현과 다양한 장면 수행에 능숙합니다.
- Doubao·음성 복제 모델: 5초 안에 음성의 1:1 복제가 가능합니다. 음색의 유사성과 자연성을 고도로 복원하고 언어 간 전송을 지원합니다.
- Doubao·음성 인식 모델: 더 높은 정확도와 감도, 더 낮은 음성 인식 지연, 여러 언어의 올바른 인식 지원;
- Doubao·Vincent 다이어그램 모델: 더 정확한 텍스트 이해 능력, 더 정확한 이미지 및 텍스트 매칭, 더 아름다운 그림 효과, 중국 문화 요소 생성에 능숙함
- Doubao·Function 호출 모델: 더 정확한 제공; 함수 식별 및 매개변수 추출 기능, 복잡한 도구 호출 시나리오에 적합
- Doubao·벡터화 모델: 벡터 검색 사용 시나리오에 중점을 두고 LLM 지식 기반에 대한 핵심 이해 기능을 제공하며 여러 언어를 지원합니다.
*데이터 출처: QuestMobile
ByteDance 제품 및 전략 부사장 Zhu Jun
ByteDance 제품 및 전략 부사장 Zhu Jun은 Doubao 기반 AI 네이티브 애플리케이션을 만들기 위해 ByteDance 제품을 소개했습니다. 대형 모델 아이디어. 그는 기술이 빠르게 발전하고 있지만 정보를 효율적으로 획득해야 하는 필요성, 업무 효율성을 향상해야 하는 필요성, 자기 표현의 필요성, 소셜 엔터테인먼트의 필요성 등 사용자의 핵심 요구 사항은 변하지 않았다고 말했습니다. ByteDance는 자연스러운 대화형 형태로 사용자에게 서비스를 제공하고 더 많은 사람들의 삶과 일에 들어갈 수 있는 적합한 대형 모델 애플리케이션 양식을 찾기 위해 많은 연구와 탐구를 해왔습니다.
Doubao APP는 ByteDance가 중점을 두고 있는 대규모 모델 애플리케이션입니다. Zhu Jun에 따르면 Doubao 플랫폼의 월간 활성 사용자는 2,600만 명에 달했고 800만 명 이상의 에이전트가 생성되었습니다.
Doubao Big Model은 Byte의 내부 작업을 지원할 뿐만 아니라 Volcano Engine의 많은 기업 고객과 공동 제작하고 있습니다. Tan Dai는 기업이 최상의 결과와 비용 효율성을 달성하려면 다양한 비즈니스 시나리오에서 다양한 특성을 가진 모델이 필요하다고 믿습니다. 이를 위해 Doubao Big Model은 기업이 자신의 비즈니스 시나리오에 따라 유연하게 선택할 수 있는 다중 모드 모델 제품군을 제공하여 모델 사용 및 비용 제어의 긍정적인 순환을 달성합니다.
02.
좋은 모델은 모두에게 저렴합니다.
Tan Dai는 대형 모델을 "가치 창출 단계"로 진출시키는 데 있어 비용 절감이 핵심 요소라고 믿습니다. 기업 시장에서 Doubao의 주요 모델 가격은 0.0008위안/천 토큰에 불과합니다. 0.8센트에 1,500자 이상의 한자를 처리할 수 있으며 이는 업계보다 99.3% 저렴합니다.
Doubao 범용 모델 pro-32k 버전을 예로 들면 모델 추론 입력 가격은 0.0008위안/천 토큰에 불과합니다. 시중에서 판매되는 동일한 사양의 모델 가격은 일반적으로 0.12위안/천 토큰으로 빈백 모델 가격의 150배입니다. 대형 모델 가격은 '센티 시대'에 돌입했다.
Tan Dai는 대형 모델의 '롤러' 가격이 기업이 더 낮은 비용으로 비즈니스 혁신을 가속화하는 데 도움이 될 것이라고 말했습니다.
03.
Ark 2.0 업그레이드
대형 모델의 가치 창출 촉진
볼케이노엔진은 지난해 볼케이노엔진이 원스톱 대형 모델 서비스 플랫폼인 볼케이노 아크를 출시했다. Model as a Service 효율적이고 안전한 환경에서 다양한 모델을 적용해보세요. 올해 Volcano Engine은 Ark 플랫폼을 포괄적으로 업그레이드했습니다. 업그레이드된 Volcano Ark 2.0은 모델 효과, 핵심 플러그인, 시스템 성능 및 플랫폼 경험을 크게 향상시켜 기업이 대형 모델의 가치 창출을 촉진하는 데 도움을 줄 것입니다.
플러그인 및 도구 체인 측면에서 Ark 2.0은 인터넷 플러그인을 업그레이드하여 Toutiao 및 Douyin과 동일한 검색 기능을 제공하고 실시간으로 대량의 고품질 데이터를 연결하는 동시에 다중 모드 상호 작용을 사용합니다. 텍스트, 이미지 및 음성과 같은 방법과 업계 최고의 의도 인식 기능을 통해 모델의 정보 획득 기능을 크게 향상시켰습니다. 업그레이드된 콘텐츠 플러그인, Toutiao 및 Douyin에 동일한 소스의 대규모 콘텐츠를 제공하고 다중 지원 의도에 따른 수직적 콘텐츠 정보 검색과 더 강력한 콘텐츠 적시 검색을 제공하는 모달 상호 작용을 통해 대규모 모델이 콘텐츠를 깊이 이해하고 검색하고 생성할 수 있도록 지식 기반 플러그인을 업그레이드하여 수백억 개의 고성능 검색을 제공합니다. 밀리초, 두 번째 수준의 스트리밍 지식 기반 인덱스 업데이트, 내장된 빈백 벡터화 모델을 통해 검색 성별 및 정확성의 관련성을 향상시킵니다.
Volcano Ark 2.0은 위의 핵심 플러그인 업그레이드 외에도 시스템 수용 능력, 보안 보호 기능, 알고리즘 서비스 기능도 포괄적으로 업그레이드했습니다. 시스템 운반 용량 측면에서는 풍부한 GPU 컴퓨팅 리소스와 킬로카드 용량 확장 및 축소의 초탄력성을 제공하여 보안 보호 측면에서 비즈니스 안정성과 비용 제어성을 보장하며 보안 샌드박스를 통해 신뢰할 수 있는 실행 환경을 구축합니다. . 다차원 보안 아키텍처는 데이터 보안을 보장합니다. 또한 Volcano Engine은 고객이 고유한 데이터 가치를 발굴하고 대규모 엔터프라이즈 모델 애플리케이션을 쉽게 구현할 수 있도록 전문적인 알고리즘 팀 서비스를 제공합니다.
버튼 제품 관리자 Pan Yuyang
좋은 모델 효과, 편리한 플러그인, 강력한 시스템 성능 외에도 누구나 간단하고 사용하기 쉬운 개발 플랫폼을 제공해야 합니다. AI 애플리케이션 개발자. Coze 제품 관리자 Pan Yuyang은 ByteDance가 출시한 차세대 AI 애플리케이션 개발 플랫폼인 Coze가 낮은 임계값, 개인화, 실시간, 다중 모드 등의 장점을 갖고 있으며 대규모 AI 리소스와 풍부한 릴리스 채널을 통합한다고 소개했습니다. . , 대규모 모델부터 사용자 시나리오까지 마지막 단계를 채우는 데 도움이 되는 원클릭 맞춤형 API 서비스입니다.
Volcano Engine이 Buttons의 전문가 버전을 공식 출시했습니다. 지능형 에이전트를 유연하게 조율하는 Kouzi의 능력을 기반으로 Kouzi Professional Edition은 엔터프라이즈 수준의 SLA와 다양한 고급 기능을 추가로 제공하여 AI 애플리케이션을 보다 쉽게 구현하고 기업이 에이전트 혁신을 통해 비즈니스 성장을 촉진하는 데 더 집중할 수 있도록 합니다.
Tan Dai는 Volcano Engine이 AI 시대에 가장 개방적이고 선도적인 클라우드 서비스 플랫폼이 되기 위해 최선을 다하고 있다고 말했습니다. 새롭게 업그레이드된 Volcano Ark 2.0은 더 강력한 성능, 더 나은 플러그인, 더 나은 서비스, 안전하고 신뢰할 수 있는 솔루션을 통해 대규모 모델 애플리케이션을 구현하는 데 도움이 될 것입니다.
04.
널리 구현 및 실행됨
다양한 산업 분야에서 유익한 결과
빈백 모델과 Volcano Ark 2.0은 현재 금융, 자동차, 스마트 단말기, 전자상거래 소매, 교육 분야에서 사용되고 있습니다. 과학 연구 등 업계 관행이 구현됩니다. China Merchants Bank, Haidilao Hotpot, Super Orangutan, Ctrip Travel, Feichangzhun 및 Liepin과 같은 회사도 버튼에 스마트 바디를 구축했습니다. 푸단대, 저장대 등 유명 대학도 강좌와 실험을 위한 'AI 조교'를 구축했다.
Gao Xulei, China Merchants Bank 디지털 금융 개발실 이사
금융 산업의 AI 혁신 실무자로서 China Merchants Bank는 지능형 아웃바운드 통화, 디지털 등 수백 가지 AI 서비스 시나리오를 탐색하고 투자하고 있습니다. 사람, 지능형 데이터 도우미. China Merchants Bank 디지털 금융 개발 사무소 소장 Gao Xulei는 대형 모델이 은행의 전체 비즈니스 체인에 변화와 업그레이드를 가져올 것이라고 말했습니다. Volcano Engine과 협력하여 두 당사자는 대규모 모델 애플리케이션 시나리오와 고성능 인프라를 공동으로 구축하고 기존 시스템과 제품을 변형하며 수많은 AI 중심 지능형 에이전트 애플리케이션을 생성할 것입니다.
Mengniu Group의 부사장 겸 최고 디지털 정보 책임자인 Li Qijie
Mengniu Group의 부사장 겸 최고 디지털 책임자인 Li Qijie는 생산 도구의 진화, 생산 방법 및 조직 방법의 진화. Mengniu Group은 Volcano Engine과 협력하여 기술 기반을 통합하고 AI 영양 전문가, AI 보모, AI 데이터 분석가, 제품 혁신 보조자, 핫스팟 창의적 보조자 등의 지능형 매트릭스를 구축하여 프런트엔드 소비자 경험을 향상하고 지원을 제공합니다. -인사 결정.
스마트 단말기 대형 모델 연합 출시
이번 회의에서 Volcano Engine과 OPPO, vivo, Honor, Xiaomi, Samsung, ASUS는 스마트 단말기 대형 모델 연합의 설립을 발표했습니다. OPPO Xiaobu Assistant, Honor MagicBook의 YOYO Assistant, Xiaomi의 "Xiao Ai Classmate", ASUS 노트북의 Douding AI Assistant 등의 애플리케이션이 모두 Volcano Engine의 대형 모델 서비스에 연결되었습니다.
자동차 대형 모델 생태 동맹 출시
동시에 Volcano Engine은 중국 전기 자동차 협회(China Electric Vehicles Association) 100개 및 Geely Automobiles, Great Wall Motors, Jietu Motors, Cyrus 등 20개 이상의 제조업체와 함께 Zhiji Automobile, 자동차 연합 설립 발표 모델 생태 연합(Model Ecological Alliance)은 새로운 형태의 인간과 차량 상호 작용을 탐구하고 모든 자동차 시나리오에서 새로운 AI 경험을 개선하는 데 전념하고 있습니다.
두 개의 주요 제휴사 OPPO와 Jietu Motors도 각각 자체 대형 모델 사례를 공유했습니다.
OPPO 지능형 보조 부서 이사, Xiaobu 보조 수석 건축가 Wan Yulong
OPPO 지능형 보조 부서 이사, Wan Yulong, 수석 설계자 Xiaobu Assistant의 그는 OPPO AI 휴대폰의 대규모 모델 애플리케이션 사례를 공유했습니다. 그는 Xiaobu Assistant가 현재 3억 5천만 대의 단말기를 다루고 있으며 1억 5천만 명 이상의 월간 활성 사용자를 보유하고 있다고 말했습니다. Volcano Ark에서 OPPO는 의도 인식 모델, 네트워크 요약 모델, 개인화 캐릭터 모델, 빈백 모델을 통해 범용 질문 및 답변, 스마트 소녀, 면접관과 같은 지능형 에이전트를 구축하여 최종 사용자에게 새로운 AI 경험을 제공했습니다.
Jietu Automobile 디지털화 책임자 Liu Hang
Jietu Automobile 디지털화 책임자 Liu Hang은 Jietu Automobile이 대형 모델을 통해 서비스 역량을 확장하고 사용자의 실제 요구 사항에 대한 통찰력을 얻어 판매 효율성과 역량. Volcano Engine과 손을 잡고 두 당사자는 고객 서비스 시나리오를 중심으로 공동 개발했습니다. AI Xiaojie가 만든 스마트 고객 서비스는 인력을 절약할 뿐만 아니라 고객 서비스 담당자가 신속하게 정보를 얻고 고객에게 서비스를 제공할 수 있도록 도와줍니다. 앞으로 Jietu Motors는 대형 모델을 통해 조종석, 의사 결정, 마케팅 분야에서 지능형 업그레이드를 더욱 실현하기를 희망합니다.
05.
다양한 AI 애플리케이션 출시
빠른 구현 및 즉시 사용 가능
대형 모델 서비스 플랫폼 외에도 AI 애플리케이션도 Volcano 엔진의 핵심 구성 요소입니다. 풀스택 AI 서비스.
지난해 Volcano Engine은 엔터프라이즈 디지털 인텔리전스 업그레이드를 위한 새로운 모델인 데이터 플라이휠을 제안했습니다. 이 모델은 데이터 소비를 핵심 원동력으로 삼고 엔터프라이즈 데이터 흐름을 비즈니스 흐름에 완전히 통합하며 데이터 자산 및 비즈니스 애플리케이션의 플라이휠 효과를 실현합니다. . 기업의 데이터 소비를 더욱 포괄적이고 편리하게 만들기 위해 Volcano Engine Intelligent Data Insight DataWind는 AI 보조 ChatBI를 공식 출시했습니다. 사용자는 차트 생성, 데이터 쿼리 및 심층적인 데이터 분석을 위해 자연어 상호 작용을 통해 지표를 생성할 수 있습니다. IM 상호 작용을 지원하고 여러 단말기에 적용할 수 있으며 언제 어디서나 셀프 서비스 분석을 수행합니다. 이를 통해 데이터 소비 임계값을 크게 낮추고 읽기 및 데이터 사용 효율성을 향상하며 데이터 플라이휠의 가속화된 작동을 위한 전원을 제공합니다.
마케팅 시나리오의 경우 Volcano Engine은 Intelligent Creation Cloud 2.0으로 업그레이드되어 콘텐츠 생성, 매트릭스 배포, 광고에서 데이터 통찰력에 이르기까지 원스톱 엔터프라이즈 콘텐츠 마케팅 성장 솔루션이 되었습니다. 이는 다중 모드 이해 및 생성 기능을 제공할 뿐만 아니라 를 통해 동영상 제작 효율성을 25배 높이고 Douyin 주제, POI, 미니 프로그램 및 기타 마케팅 도구를 출시하여 매장 페이지 노출을 600% 늘렸습니다. 현재 3,000개 이상의 회사가 Volcano Engine에서 AIGC 비디오 마케팅 성장을 시작했습니다.
판매 시나리오를 위해 Volcano Engine은 고객 요구 사항을 효율적으로 추적하고 언제든지 복잡한 제품 질문에 답변할 수 있도록 판매를 지원할 수 있는 판매 AI 도우미인 Sales Copilot을 출시했습니다. 또한 롤플레잉을 통해 다양한 스타일의 고객 훈련을 시뮬레이션할 수 있으며 뛰어난 말하기 능력을 제공하여 영업 커뮤니케이션의 질을 향상시킬 수 있습니다.
Volcano Engine은 2021년 Wanwan Plan이 출시된 이후 항상 개방적이고 공유되는 생태학적 개념을 구축하는 데 전념해 왔으며 100개 이상의 SaaS 회사가 비즈니스 성장을 달성하고 거의 10,000건에 달하는 고객 계약을 달성하도록 도왔습니다. Doubao Enterprise Service Alliance는 대규모 모델 구현을 위한 Wanyou Plan의 특별 계획입니다. Wanyou Plan Doubao Enterprise Service Alliance는 SaaS 회사가 AI 업그레이드를 달성하고 업계 고객에게 더 많은 즉시 사용 가능한 AI 애플리케이션을 제공할 수 있도록 지원 계획 패키지를 제공합니다.
06.
AI 인프라가 새로운 차원으로 업그레이드되었습니다.
클라우드 컴퓨팅 성능의 안정적인 보장
대형 모델 시대에는 클러스터 관리의 복잡성, 네트워크 성능 및 안정성이 핵심 과제입니다. 클라우드 인프라용. 위의 과제를 해결하기 위해 Volcano Engine은 리소스 규모의 이점과 내부 및 외부 공통 풀의 내부 관행을 기반으로 대규모 클러스터 구축, 관리, 성능 최적화 및 안정성 보장에 관한 업계 최고의 솔루션 세트를 제공합니다.
NVIDIA 솔루션 및 엔지니어링 담당 부사장 Lai Junjie
회의에서 Volcano Engine은 기업과 개발자에게 NVIDIA Omniverse 기반의 새로운 클라우드 개발 플랫폼을 제공하여 상호 연결된 가상 세계에서 기업과 개발자를 지원하는 veOmniverse를 공식 출시했습니다. 세계에서 워크플로를 중심으로 효율적으로 설계 및 협업하고, 지능적이고 현실적인 가상 세계를 탐색하고 생성하세요.
Volcano Engine은 고객에게 높은 안정성과 성능의 클라우드 인프라를 제공하는 것 외에도 로컬 배포 요구에 부응하여 Wanka 클러스터 네트워킹 및 3.2T 고성능을 갖춘 새로운 하이브리드 클라우드 veStack 지능형 컴퓨팅 버전도 출시했습니다. 무손실 네트워크의 초대형 이점은 엔드투엔드 엔지니어링을 통해 지원되는 최고의 성능으로 97.78%의 훈련 가속률과 분 단위 오류 감지 및 자가 치유를 달성할 수 있으며 여러 가지 이기종 기능을 갖추고 있습니다. 10가지 이상의 GPU 유형에 적응하고, 주류 국산 제품인 GPU를 지원합니다.
GPU가 수행하는 집약적인 컴퓨팅 외에도 완전한 AI 애플리케이션은 비즈니스가 쉽게 수행되고 혁신을 가속화할 수 있도록 지속적으로 비용을 절감하고 기존 CPU 로드의 효율성을 높여야 합니다. 컴퓨팅, 스토리지, 네트워크, 운영 및 유지보수의 4가지 레벨에서 볼케이노엔진은 고객의 클라우드 비즈니스의 안정적인 운영을 완벽하게 지원합니다.
End
기술 혁신부터 상업적 구현에 이르기까지 대형 모델은 다양한 산업 분야에서 AI 혁신을 위한 강력한 추진력을 제공해 왔습니다. Volcano Engine은 ByteDance의 대형 모델 분야에서의 실제 경험을 바탕으로 대규모 사용을 통해 좋은 모델을 연마했으며, 기술을 통해 최고의 비용 효율성으로 모든 사람이 대형 모델을 사용할 수 있도록 해줍니다. 다양한 산업 분야의 풍부한 구현 경험과 알고리즘 서비스를 함께 성장해보세요. 앞으로도 Volcano Engine의 풀스택 AI 서비스는 기업이 AI 혁신을 구현하고 비즈니스 성장 잠재력을 촉진하는 데 계속 도움이 될 것입니다.
위 내용은 Bytedance Beanbao 대형 모델 출시, Volcano Engine 풀스택 AI 서비스로 기업의 지능적 혁신 지원의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!