2B 매개변수 성능이 Mistral-7B를 능가함: 벽을 향한 지능형 다중 모드 엔드 사이드 모델 오픈 소스

Qianyuan 기계는 로컬에서도 실행할 수 있습니다.

최근 사람들은 대량 모델을 대량으로 개발하면서 최적화 및 배포에서 결과를 얻었습니다.

2월 1일, Wall-Facing Intelligence와 Tsinghua NLP Laboratory는 주력 엔드투사이드 대규모 모델인 "Wall-Facing MiniCPM"을 베이징에서 공식 출시했습니다. 이 차세대 대형 모델은 "성능 소형 강철 포"로 알려져 있습니다. 터미널에 직접 배치할 수 있을 뿐만 아니라 동급 최강의 다중 모드 기능도 갖추고 있습니다. 이는 사용자에게 더 빠르고 효율적인 스마트 애플리케이션 경험을 제공할 것입니다.

Face Wall Intelligence에서 출시한 최신 MiniCPM 2B 모델은 20억 개의 매개변수만 갖고 있으며 1T 토큰의 선택된 데이터를 사용하여 학습됩니다. 2018년에 출시된 BERT 모델과 비교하면 이 모델은 동일한 수의 매개 변수를 가지고 있지만 Wall-Facing Intelligence는 성능 최적화 및 비용 제어에 극도의 노력을 기울여 이 모델이 측면에서 "몬스터를 뛰어넘어 죽이는" 효과를 얻을 수 있도록 했습니다. 성능.

Wall-Facing Intelligence의 공동 창립자이자 CEO인 Li Dahai는 여러 주류 평가에서 성능 측면에서 업계에서 잘 알려진 오픈 소스 대형 모델인 Mistral-7B와 새 모델을 비교했습니다. 기울기.

최근 Microsoft가 제안한 "소형 모델" Phi-2에 비해 MiniCPM도 큰 장점을 가지고 있습니다.

Li Dahai는 벽을 향한 지능의 새로운 모델이 기능 측면에서 도약적인 구현을 달성할 수 있는 잠재력을 가지고 있으며 13B, 30B 또는 심지어 40B 모델의 기능을 달성할 수 있다고 지적했습니다. 사용자 경험에 가장 가까운 평가 목록인 MT-Bench를 이용하여 평가한 결과, MiniCPM은 7점을 얻었습니다(비교적으로 GPT-4-Turbo는 9점을 받았습니다).

현장에서 Wall-Facing Intelligence는 MiniCPM의 실질적인 적용 효과도 입증했습니다. 매개변수의 개수는 적지만 텍스트 번역, 역할극 등 대형 모델이 갖춰야 할 기능이 많고 지식도 풍부하다. 이 모델은 어려운 코드 해석 작업도 처리할 수 있습니다.

MiniCPM은 클라이언트 측에 배포할 수 있기 때문에 긴급 상황에 직면한 사람들에게 적시에 도움을 제공할 수도 있습니다.

최근 다양한 휴대폰 제조업체에서 대규모 클라이언트 측 모델을 제안했습니다. 언어 모델이 더 작은 크기로 압축되면 이를 사용하여 제한된 컴퓨팅 성능과 메모리에도 불구하고 더 많은 시나리오에 연결하고 더 높은 수준의 지능을 얻을 수 있습니다. 반면, Wall-Facing Intelligence가 제안하는 신기술은 더 가벼워서 낮은 구성이나 이전 모델의 휴대폰에도 적용할 수 있습니다.

Face Wall Intelligence에 따르면 MiniCPM 엔드사이드 모델은 Int4 양자화를 거쳐 크기가 75% 압축되었으며 동시에 2G의 메모리만 차지하므로 성능 저하가 거의 없습니다. 다양한 일반 휴대폰 모델에 구현되었습니다.

MiniCPM은 모바일 CPU 추론을 지원하기 때문에 사용 비용을 크게 절약할 수 있습니다. Face Wall Intelligence는 우리를 위해 계산했습니다. MiniCPM을 사용하는 Snapdragon 855가 장착된 휴대폰은 1달러의 전기로 170만 개의 토큰을 처리할 수 있습니다. 이 가격은 클라우드에서 실행되는 Mistral-Medium의 1%에 불과합니다.

Wall Intelligence는 최종 모델 외에도 다중 모드 대형 모델 탐색을 시연했으며 12B 매개변수 OmniLMM을 오픈 소스로 제공했습니다. 기자회견에서 Facewall Intelligence는 Gemini가 출시되었을 때와 동일한 가위바위보 데모를 시연했습니다. AI에게 영어로 물어보세요: 내가 지금 무슨 게임을 하고 있나요? 큰 모델은 가위바위보라고 답할 것입니다.

동시에 OmniLMM은 인간의 몸짓을 인식하고 승리하려면 무엇을 해야 할지 알려줄 수도 있습니다.

OmniLMM은 랜드마크 건물, TV 방송국 로고, 사람들이 주최하는 활동 등 다양한 사진에 담긴 정보를 이해하고 추론할 수도 있습니다.

진정한 멀티모달 대형 모델과 새로운 형태의 적용이 멀지 않은 것 같습니다.

벽면형 스마트 대형 모델의 궁극적인 성능은 회사의 오랜 기술 축적에서 비롯됩니다. 2021년부터 Wallface Intelligence는 인프라, 알고리즘, 데이터 방법론의 세 가지 방향에 중점을 두고 효율적인 기술 스택을 구축했습니다. 그중에서도 자체 개발한 BMTrain 효율적인 훈련 프레임워크가 중요합니다.

알고리즘 수준에서 Wall-Facing Intelligence는 대형 모델을 연금술에서 실험 과학 수준으로 끌어올린 모델 샌드박스 시스템도 축적했습니다. 이론적으로는 하이퍼파라미터 및 규모에 대한 최적의 솔루션을 끊임없이 찾고 있습니다. , 최적의 배치 크기, 모든 크기 모델에 공통적인 하이퍼 매개변수 구성 등이 있습니다.

현재 Wall-Facing Intelligence는 대량의 고품질 데이터를 축적했습니다. 어제 출시 이후 Face Wall Intelligence는 차세대 대형 모델 시리즈(MiniCPM-SFT/DPOMiniCPM-V 및 MiniCPM-SFT/DPO-int4 포함)와 업계 참조용 MiniCPM 교육의 두 단계에 대한 데이터 레시피를 오픈 소스로 공개했습니다. .

오픈 소스 주소(기술 보고서 ​​포함):

MiniCPM GitHub: https://github.com/OpenBMB/MiniCPM

OmniLMM GitHub: https://github.com/OpenBMB/OmniLMM

벽면 인텔리전스가 탄생합니다. Tsinghua NLP의 연구실은 중국에서 대규모 모델 연구를 수행한 최초의 팀 중 하나입니다. 2018년에는 지식 지도를 기반으로 한 세계 최초의 사전 훈련 모델 ERNIE를 출시했습니다. 2022년 8월 기업 운영을 시작한 페이스월 인텔리전스는 지난해 두 차례의 펀딩을 경험했고, 애플리케이션 '미안월 루카'도 중국 사이버관리국으로부터 2차 대형 모델 등록을 받았다.

현재 Wall-Facing Intelligence는 100명이 넘는 과학 연구팀을 구성했으며 그 중 80%는 칭베이 출신이고 평균 연령은 28세입니다.

Wall-face Intelligence는 더 작고, 더 빠르고, 더 저렴한 솔루션을 구축하기 위해 대형 모델 + 에이전트의 이중 엔진 전략을 구축하고 있습니다.

올해 Wall-Facing Intelligence는 새로운 기술의 반복도 가속화할 것입니다. Liu Zhiyuan은 "우리는 춘절 이후에도 MiniCPM의 새 버전을 계속 출시할 예정이며 성능은 더욱 향상될 것입니다. 우리는 춘절 동안 모두에게 휴식을 주고 싶습니다"라고 Liu Zhiyuan은 말했습니다.

위 내용은 2B 매개변수 성능이 Mistral-7B를 능가함: 벽을 향한 지능형 다중 모드 엔드 사이드 모델 오픈 소스의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!