Alibaba Cloud Tongyi Qianwen 14B 모델은 오픈 소스입니다! 성능은 Llama2 및 같은 크기의 다른 모델을 능가합니다.
- 王林앞으로
- 2023-09-25 22:25:05953검색
2021년 9월 25일 Alibaba Cloud는 오픈 소스 프로젝트 Tongyi Qianwen 140억 매개변수 모델 Qwen-14B와 대화 모델 Qwen-14B-Chat을 출시했으며, 이들은 무료로 상업적으로 사용할 수 있습니다. Qwen-14B는 여러 권위 있는 평가에서 동일한 크기의 모델을 능가하는 우수한 성능을 보였으며 일부 지표에서도 Llama2-70B에 가깝습니다. 앞서 알리바바 클라우드는 70억 매개변수 모델인 Qwen-7B도 오픈소스로 공개한 지 불과 한 달여 만에 다운로드 수가 100만 건을 돌파하며 오픈소스 커뮤니티에서 인기 있는 프로젝트가 됐다
Qwen-14B는 고성능 모델이다. 오픈 소스 모델은 유사한 모델보다 더 많은 고품질 데이터를 사용하고 전체 훈련 데이터가 3조 토큰을 초과하여 모델의 추론, 인지, 계획 및 기억 기능이 더욱 강력해졌습니다. Qwen-14B는 최대 컨텍스트 창 길이 8k를 지원합니다. 
그림 1: Qwen-14B는 12개의 권위 있는 평가에서 모든 측면에서 동일한 규모의 대형 SOTA 모델을 능가했습니다.
Qwen-14B-Chat은 기본 모델에서 정밀한 SFT를 통해 얻은 대화 모델입니다. 기본 모델의 강력한 성능으로 Qwen-14B-Chat에서 생성된 콘텐츠의 정확성이 크게 향상되었으며, 콘텐츠 생성의 상상력과 풍부함도 크게 확장되었습니다.
Qwen에는 개발자가 Qwen 기반 에이전트를 더 빠르게 구축하는 데 도움이 되는 뛰어난 도구 호출 기능이 있습니다. 개발자는 간단한 지침을 사용하여 Qwen에게 코드 해석기 도구를 사용하여 복잡한 수학적 계산, 데이터 분석 및 차트 그리기를 위한 Python 코드를 실행하는 등 복잡한 도구를 사용하도록 가르칠 수 있습니다. 또한 Qwen은 다중 문서 Q&A 및 긴 텍스트 쓰기와 같은 기능을 갖춘 "고급 디지털 보조자"를 개발할 수도 있습니다. 매개변수 수준이 수백억 개 이내인 대규모 언어 모델은 현재 개발자가 애플리케이션을 개발하고 반복하는 데 주류 선택입니다. Qwen-14B는 소형 모델의 성능 상한을 더욱 향상시켰으며 MMLU, C-Eval, GSM8K, MATH, GaoKao-Bench 등 12개의 권위 있는 평가에서 최고의 결과를 달성하여 SOTA(State-Of)를 능가했습니다. -The-Art) 대형 모델도 Llama-2-13B를 완전히 능가했습니다. 동시에 Qwen-7B도 완전히 업그레이드되어 핵심 지표가 최대 22.5% 증가했습니다
사용자 Moda 커뮤니티에서 직접 모델을 다운로드하거나 Alibaba Cloud Lingji 플랫폼을 통해 Qwen-14B 및 Qwen-14B-Chat에 액세스하고 호출할 수 있습니다. Alibaba Cloud는 모델 훈련, 추론, 배포 및 미세 조정을 포함한 완전한 서비스를 사용자에게 제공합니다.
8월, Alibaba Cloud는 HuggingFace 및 Github에 출시된 Tongyi Qianwen 70억 매개변수 기본 모델 Qwen-7B를 공개했습니다. 트렌드 목록. 한 달여 만에 누적 다운로드 수가 100만 건을 돌파했습니다. Qwen을 기반으로 한 50개 이상의 모델이 오픈 소스 커뮤니티에 등장했으며 커뮤니티에서 잘 알려진 많은 도구와 프레임워크가 Qwen을 통합했습니다.
Tongyi Qianwen은 중국에서 가장 깊이 있고 널리 사용되는 대규모 모델입니다. Tongyi Qianwen에 연결된 국내 애플리케이션은 이미 많이 있으며, 이러한 애플리케이션의 월간 활성 사용자는 1억 명을 초과했습니다. 많은 중소기업, 과학 연구 기관 및 개인 개발자가 Tongyi Qianwen을 사용하여 독점적인 대규모 모델이나 응용 제품을 개발하고 있습니다. 예를 들어 Alibaba의 Taobao, DingTalk 및 Future Elf는 물론 외부 과학 연구 기관 및 기업 기업
Zhejiang University 및 Higher Education Press는 Qwen-7B를 기반으로 Zhihai-Sanle 교육 수직 모델을 개발했으며 이는 12개국에서 사용되었습니다. 전국 모든 대학에서 지원 가능합니다. 이 모델에는 지능형 질문 답변, 시험 문제 생성, 학습 탐색, 교육 평가 등의 기능이 있습니다. 이 모델은 Alibaba Cloud Lingji 플랫폼에서 제공되었으며 단 한 줄의 코드로 호출할 수 있습니다. Zhejiang Youlu Robot Technology Co., Ltd.는 Qwen-7B를 도로 청소 로봇에 통합하여 로봇이 사용자와 실시간으로 상호 작용하고 요구 사항을 이해할 수 있도록 했습니다. 사용자의 고급 지침을 분석 및 분해하고, 논리적 분석 및 작업 계획을 수행하여 청소 작업을 완료할 수 있습니다.
Alibaba Cloud CTO Zhou Jingren은 Alibaba Cloud가 계속해서 오픈 소스를 지원하고 홍보하며 구축을 촉진하는 데 전념하고 있다고 말했습니다. 중국의 대형 모델 생태계. Alibaba Cloud는 오픈 소스의 힘을 굳게 믿으며 자체 대형 모델 기술을 최초로 오픈 소스화했습니다. 이를 통해 더 많은 중소기업과 개인 개발자가 대형 모델 기술에 더 빠르게 액세스하고 적용할 수 있기를 바랍니다
Alibaba Cloud 또한 중국 최대 AI를 주도합니다. 모델 오픈 소스 커뮤니티인 ModelScope의 구축은 업계 전체의 힘을 통합하여 대형 모델 기술의 대중화 및 적용을 공동으로 촉진합니다. 지난 두 달 동안 Moda 커뮤니티의 모델 다운로드 수가 4,500만 건에서 8,500만 건으로 급증하여 거의 100% 증가했습니다.
다시 작성한 내용은 다음과 같습니다. 첨부:
Moda 커뮤니티 모델 주소:
- https://www.php.cn/link/7463afe23eae7efe3c72737a5d3d693f
- https://www.php.cn/link/9578a63fbe545bd82cc5bbe749636af1
모다 커뮤니티 모델의 경험은 어떤가요?
Alibaba Cloud Lingji 플랫폼 주소:
- https://www.php.cn/link/e44cf9762b402f 5 d8b5bc36f60304a15
- https ://www.php.cn/link/1662d1307aaa81230b651ecf00d27180
다시 작성해야 하는 내용은 다음과 같습니다. Qwen 논문 링크:
https://www.php.cn/link/da796dcc49ab9fc5ac26db17e02a9e3 3
Github:
껴안는 얼굴:
- https://www.php.cn/link/0247f3dd84906223 785fdd b18353bafe
- https://www .php.cn/link/0247f3dd84906223785fddb18353bafe-Chat
위 내용은 Alibaba Cloud Tongyi Qianwen 14B 모델은 오픈 소스입니다! 성능은 Llama2 및 같은 크기의 다른 모델을 능가합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!