신형 Kunlun Wanwei 'Tiangong' 13B 시리즈 대형 모델은 문턱 없이 쉽게 상용화할 수 있습니다.

10월 30일 Kunlun Wanwei는 수백억 개의 대규모 언어 모델이자 600GB, 150B라는 희귀한 오픈 소스인 Skywork-13B의 Skywork-13B 시리즈 오픈 소스를 발표했습니다. Tokens 매우 큰 고품질 오픈 소스 중국어 데이터세트입니다.

Kunlun Wanwei "Tiangong" Skywork-13B 시리즈에는 현재 130억 개의 매개변수를 가진 두 가지 주요 모델이 포함되어 있습니다: Skywork-13B-Basemodel, Skywork-13B-Mathmodel, CEVAL에 있습니다. , GSM8K 및 기타 여러 권위 있는 평가와 벤치마크 테스트에서 동일한 크기의 모델 중 최고의 결과를 보여주었습니다. 특히 중국 역량이 뛰어나며 중국 기술, 금융, 정부 업무 및 기타 분야에서의 성능이 더 높습니다. 다른 오픈 소스 모델.

Skywork-13B(모델 범위) 다운로드 주소: https://modelscope.cn/organization/skywork

Skywork-13B(Github) 다운로드 주소: https://github.com/SkyworkAI /Skywork

오픈 소스 모델 외에도 Skywork-13B 대형 모델 시리즈도 오픈 소스로 제공됩니다. 600GB, 150B 토큰고품질 중국어 코퍼스 데이터 세트 Skypile/China-Web-Text- 150B, 이는 현재 가장 큰 오픈 소스 중국어 데이터 세트 중 하나입니다.

동시에 Kunlun Wanwei의 Skywork-13B 대형 모델 시리즈가 곧 상업용으로 완전히 공개될 예정입니다——개발자는 상업용으로 신청할 필요가 없습니다. 130억 개의 매개변수, 2개의 주요 모델, 중국 최대 데이터 세트 중 하나, 상업적 용도로 완전히 공개되었습니다.

Kunlun Wanwei의 "Skywork"

Skywork-13B 대형 모델 시리즈는 업계에서 가장 철저한 오픈 소스로 수백억 가치가 있는 고품질 상용 모델이라고 할 수 있습니다. Skywork-13B 대형 모델 시리즈의 오픈 소스는 대형 모델의 적용과 오픈 소스 커뮤니티의 발전을 위한 최고의 기술 지원을 제공하고, 대형 모델의 상업적 문턱을 낮추며, 인공 지능 구현을 촉진할 것입니다.

Kunlun Wanwei의 Skywork-13B 시리즈에는 두 가지 주요 모델과 150B가 포함됩니다. 고품질의 중국 데이터 세트.

Skywork-13B-Base모델은 Skywork-13B의 기본 모델로 3.2조 개의 다국어 고품질 데이터로 학습되었으며 CEVAL, CMMLU, MMLU, GSM8K 및 기타 평가에서 동등한 성능을 입증했습니다. 및 벤치마크 테스트. 축소 모델에 대한 최상의 결과. Skywork-13B-Math모델은 전문적인 수학적 능력 강화 교육을 받았으며 GSM8K와 같은 데이터 세트에서 동일한 크기의 모델 중 최상의 결과를 달성했습니다.

Skypile/중국어-웹-텍스트-150B

데이터세트. 이 데이터 세트는 신중하게 필터링된 데이터 처리 프로세스에 따라 중국 웹 페이지에서 필터링된 고품질 데이터입니다.
• 이 오픈 소스 데이터 세트의 크기는 약 600GB
• 이며, 총 token
• 수는 약 (1500십억)개입니다. 이는 현재 중국 최대 오픈 소스 데이터 세트 중 하나입니다. . 또한 Skywork-13B 시리즈에서는 모델에 사용된 평가 방법, 데이터 비율 연구 및 교육 인프라 최적화 계획도 공개합니다. 5가지 주요 기능 종합적으로 능가함

Kunlun Wanwei "Tiangong" Skywork-13B 시리즈 대형 모델은 CEVAL, GSM8K, 권위 있는 평가와 벤치마크 테스트를 통해 동급 모델 중 가장 좋은 결과를 얻었으며, 중국 능력이 특히 뛰어나며 중국 기술, 금융, 정부 업무 및 기타 분야에서의 성과가 다른 오픈 소스 모델보다 높습니다.

Skywork-13B 시리즈 모델의 5가지 특징:

가장 강력한 매개변수 성능: 동일한 규모의 대형 모델을 종합적으로 능가함

이 오픈 소스 Skywork-13B 시리즈 모델은 CEVAL, CMMLU, MMLU, GSM8K에서 강력한 성능을 발휘합니다. 및 기타 주요 권위 있는 평가 벤치마크에서는 LLaMA2-13B 등 오픈소스 대형 모델을 종합적으로 능가하며, 동일 규모의 대형 모델 중 최고의 결과를 달성했습니다. (10월 25일 기준 데이터)

최대 학습 데이터: 3.2T

고품질 다국어 학습 데이터

Skywork-13B 시리즈 대형 모델에는 130억 개의 매개변수와 3조 2천억 개의 고품질 다국어 지원 훈련 데이터. 모델의 생성 능력, 창의적 능력, 수학적 추론 능력이 크게 향상되었습니다.

가장 강력한 중국어 모델링 기능: 중국어 모델링 난제 평가, 모든 중국 오픈 소스 모델을 능가함

Skywork-13B 시리즈 대형 모델은 중국어 모델링이 뛰어나고 뛰어난 중국 문화 창작 능력을 갖추고 있습니다. 중국어 텍스트 작성 분야 평가에서 Skywork-13B 시리즈 대형 모델은 특히 기술, 금융, 대정부 업무, 기업 서비스, 문화 창의성, 게임 등 분야에서 뛰어난 역량을 입증했으며 그 성능은 다른 오픈 소스 모델보다 우수함

그림은 다양한 분야의 데이터에 따른 평가 모델의 난해함을 보여줍니다. 값이 낮을수록 이 분야의 모델 모델링 능력이 더 강하다는 뜻입니다. 결과는 Tiangong 13B가 기술 기사, 영화, 정부 보고서, 게임, 금융 및 일반 분야에서 우수한 성능을 발휘한다는 것을 보여줍니다.

최대 중국 오픈 소스 데이터 세트 중 하나: 150B 토큰고품질 중국어 코퍼스

Skywork- 13B 시리즈에는 현재 최대 규모의 오픈 소스 중국 데이터 세트 중 하나인 600GB의 오픈 소스 고품질 중국어 코퍼스 데이터 세트 Skypile/English-Web-Text-150B 및 150B 토큰이 탑재됩니다. 개발자는 기술 보고서의 대규모 모델 사전 훈련 프로세스와 경험을 최대한 활용하고, 모델 매개변수를 심층적으로 사용자 정의하고, 목표에 맞는 훈련 및 최적화를 수행할 수 있습니다.

가장 성실한 오픈 소스 상업적 사용: 상업적 사용을 위해 애플리케이션이 필요하지 않습니다.

현재 오픈 소스 커뮤니티에서는 대부분의 중국 모델이 상업적 사용이 완전히 가능하지 않습니다. 일반적으로 오픈소스 커뮤니티의 사용자는 번거로운 상용 라이센스 신청 절차를 거쳐야 합니다. 어떤 경우에는 회사 규모, 산업, 사용자 수 등에 따라 상업용 라이선스 발급도 명확하게 규정되며 승인이 허용되지 않습니다.

Kunlun Wanwei는 Skywork의 개방성과 상업화를 매우 중요하게 생각합니다. 13B 시리즈 오픈 소스는 인증 프로세스를 단순화하고 산업, 회사 규모, 사용자 등에 대한 제한을 제거하여 중국 대형 모델에 관심이 있는 더 많은 사용자와 회사가 업계에서 계속 탐색하고 발전할 수 있도록 지원합니다.

Skywork-13B 시리즈 대규모 모델은 이제 상업적 용도로 완전히 라이선스가 부여되었습니다. 사용자는 모델을 다운로드하고 "Skywork 모델 커뮤니티 라이선스 계약"에 동의하고 준수하기만 하면 되며 대규모 모델을 상업적 목적으로 사용할 수 있습니다. 다시 승인을 신청하지 않고. 사용자가 Skywork-13B 시리즈의 대형 모델의 기술적 기능을 더 쉽게 탐색하고 다양한 시나리오에서 상용 응용 프로그램을 탐색할 수 있기를 바랍니다.

오픈 소스 생태계의 번영을 촉진하고 더 많은 개발자가 AIGC 개발 과정에서 공동 창작과 공유를 통해 기술 개선을 촉진합니다.

AI 시대에 오픈소스 생태 구축이 붐을 이루며 AI와 애플리케이션의 통합을 실현하는 중요한 고리가 되었습니다. 모델 개발 및 사용 비용의 문턱을 낮추고 기술 역량과 경험의 공유를 극대화함으로써 AI가 주도하는 기술 변화에 더 많은 기업과 개발자가 참여할 수 있을 것입니다. Kunlun Wanwei의 회장 겸 CEO인 Fang Han은 오픈 소스 생태계 구축에 참여한 최초의 수석 오픈 소스 전문가 중 한 명이며, 중국 Linux 오픈 소스의 선구자 중 한 명이기도 합니다. 오픈 소스 정신과 AIGC 기술 개발은 Kunlun Wanwei의 전략

All in AGI 및 AIGC

에 완벽하게 통합될 것입니다. Kunlun Wanwei의 전략에는 AGI 및 AIGC와의 협력이 포함됩니다

4월 17일, Kunlun Wanwei 출시 지능의 출현을 진정으로 실현하는 중국 최초의 국내 대규모 언어 모델인 "Tiangong 3.5"와 초청 테스트를 시작했습니다.

5월 19일, 베이징시 경제정보기술국은 '베이징 일반 인공지능 산업 혁신 파트너십 프로그램 회원 목록'의 첫 번째 배치를 발표했습니다. Kunlun Wanwei는 AIGC 분야의 최첨단 탐사 및 투자 레이아웃을 통해 최초의 모델 파트너 및 투자 파트너가 되었습니다.

8월 23일 Kunlun Technology는 중국 최초의 AI 검색 제품인 Tiangong AI Search를 출시했습니다.

9월 1일 컴퓨터 비전 및 기계 학습 분야의 최고 국제 전문가인 Yan Shuicheng 교수가 Kunlun Technology에 공식 합류했습니다. Kunlun Technology의 창립자인 Zhou Yahui와 함께 Tiangong Intelligence의 공동 CEO를 역임했으며 동시에 최첨단 기술 연구를 담당하는 Kunlun Technology 2050 글로벌 연구소의 이사를 역임했습니다.

Tencent Youtu Lab과 Xiamen University가 실시한 다중 모드 대형 언어 모델 평가에서 Kunlun Wanwei Tiangong Large Model은 9월 5일 첫 번째 종합 점수를 달성했습니다.

9월 25일 Kunlun Wanwei는 공식적으로 Aijie Core를 제어하고 AI 칩을 배치합니다.

오늘 Kunlun Wanwei Group은 Skywork-13B 시리즈 대형 모델의 오픈 소스 활동을 통해 인공 지능 생태계에 계속 투자하겠다는 확고한 의지를 보여주었습니다. 2015년에는 심천증권거래소에 상장되었습니다. 게임 분야에서 시작하여 현재는 AII In AGI, AIGC 등 다양한 사업을 통합한 기업이 되었습니다. 10년 이상의 개발 끝에 Kunlun Wanwei는 전 세계 사용자에게 최고의 인터넷 제품과 서비스를 제공하기 위해 최선을 다해 왔습니다. 현재 회사는 인공지능 분야의 무한한 가능성을 적극적으로 탐색하고 있습니다. 이제 Kunlun Technology는 AGI 및 AIGC, 해외 정보 유통 및 메타버스, 투자라는 세 가지 주요 비즈니스 부문을 점차적으로 구축했습니다. 해당 비즈니스는 전 세계 100개 이상의 국가 및 지역을 포괄하고 있으며 전 세계 월간 평균 활성 사용자는 4억 명에 가깝습니다.

Kunlun Technology는 기술 개발 동향에 대한 앞선 예측을 통해 이르면 2020년부터 AIGC 분야를 배치하기 시작했습니다. 지금까지 약 3년간의 관련 엔지니어링 연구 개발 경험을 축적했으며 사전 훈련 데이터에 대한 업계 최고의 심층 처리 능력을 구축했습니다. 또한 Kunlun Wanwei는 인공 지능 분야에서도 큰 발전을 이루었습니다. AI 대형 모델, AI 검색, AI 게임, AI 음악, AI 애니메이션, AI 소셜 네트워킹 등 6대 AI 비즈니스 매트릭스를 보유하고 있으며, 가장 강력한 모델 기술과 엔지니어링 역량, 가장 포괄적인 레이아웃, 오픈 소스 커뮤니티 구축에 전념하고 있습니다.

위 내용은 신형 Kunlun Wanwei 'Tiangong' 13B 시리즈 대형 모델은 문턱 없이 쉽게 상용화할 수 있습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!