2B參數效能超Mistral-7B：面壁智慧多模態端側模型開源

千元機也能本地運作。

近期，人們在最佳化和部署方面取得了成果，伴隨著大模型向大體量方向發展。

2月1日，面壁智慧聯合清華NLP實驗室在北京正式發表了旗艦端側大模型「面壁MiniCPM」。這款新一代大模型被譽為「性能小鋼砲」，不僅能夠直接在終端部署，也具備同等程度最強的多模態能力。這將為用戶提供更快速、更有效率的智慧應用體驗。

面壁智慧最新推出的 MiniCPM 2B 模型具有僅有 20 億的參數量，並透過使用 1T token 的精選資料進行訓練。與2018 年發布的BERT 模型相比，這個模型在參數量上相當，但面壁智能在性能優化和成本控制方面進行了極致的努力，使得該模型能夠在性能上實現了“越級打怪”的效果。

面壁智慧共同創辦人、CEO 李大海將新模型與業界知名開源大模式 Mistral-7B 進行了對比，MiniCPM 2B 在多個主流評測榜單上表現全面超越了後者。

與微軟近期提出的「小模型」Phi-2 相比，MiniCPM 也有很大優勢。

李大海指出，壁面智慧的新模型在能力方面具備了越級實現的潛力，可以實現13B、30B甚至40B模型的能力。使用最接近使用者體驗的評測清單MT-Bench進行評測時，MiniCPM獲得了7分的成績（相比之下，GPT-4-Turbo獲得了9分）。

在現場，面壁智慧也展現了 MiniCPM 的實際應用效果。儘管參數量較小，但該模型具備大模型應有的文字翻譯、角色扮演等多種能力，並且擁有豐富的知識。即使是難度較高的程式碼解釋任務，模型也能應付自如。

因為能夠部署在端側，當面臨一些突發事件時，MiniCPM 也可以給人們提供及時幫助：

最近，各家手機廠商紛紛提出了端側大模型，在把大語言模型壓縮到較小體量之後，我們就能用它連接更多場景，在算力、內存受限的情況下獲得更高程度的智能。相較之下，面壁智慧提出的新技術更加輕便，可適用於更低配置，或較早型號的手機。

據面壁智能介紹，MiniCPM 端側模型經歷了Int4 量化後壓縮了75% 體量，只佔用2G 內存，與此同時性能幾乎沒有損失，因此已在各類常見型號的手機上實現了跑通。

因為支援行動裝置 CPU 的推理，MiniCPM 可以很大程度上節約使用成本。面壁智慧為我們算了一筆帳：一台搭載驍龍 855 的手機使用 MiniCPM，一塊錢電費可處理 170 萬 token，這個價格僅為雲端運行的 Mistral-Medium 的 1%。

除了端側模型，面壁智慧也展示了其在多模態大模型方面的探索，並開源了 12B 參數量的 OmniLMM。在發表會上，面壁智慧示範了 Gemini 發佈時同款的石頭剪刀布 ​​demo。用英文向 AI 提問：我正在玩什麼遊戲？大模型會回答：石頭剪子佈。

同時，OmniLMM 也可以認出人類的手勢，也能告訴你如果要贏應該出什麼。

OmniLMM 也可以理解許多圖片中的資訊並進行推理，如地標建築、電視台的台標、人們組織的活動等內容。

看來，我們距離真正多模態的大模型，新形態的應用已經不遠了。

面壁智能大模型極致性能的背後，源自於該公司長期以來的技術累積。自 2021 年，面壁智慧就建構了一個高效的技術棧，集中在 Infra、演算法和資料方法論三個方向。其中，自研的 BMTrain 高效訓練架構至關重要。

在演算法層面上，面壁智慧也累積了模型沙盒體系，把大模型從煉丹提升到了實驗科學的程度，在理論上不斷尋找超參數和規模的最優解，如最優的batch size、所有尺寸模型通用的超參數配置。

目前，面壁智慧已累積了大量高品質的數據。在昨天的發布後，面壁智慧開源了自身的新一代大模型系列（包含 MiniCPM-SFT / DPOMiniCPM-V & MiniCPM-SFT / DPO-int4），以及訓練 MiniCPM 兩個階段的資料配方以供業界參考。

開源位址（含技術報告）：

MiniCPM GitHub：https://github.com/OpenBMB/MiniCPM

OmniLMM GitHub：https://github.com /OpenBMB/OmniLMM

面壁智能源自於清華NLP 實驗室，是國內較早開展大模型研究的團隊之一，其在2018 年發布了全球首個基於知識指導的預訓練模型ERNIE 。 2022 年 8 月開始公司化運作的面壁智能，去年經歷了兩輪融資，其推出的應用「面壁露卡」也拿到了網信辦第二批大模型備案。

目前，面壁智慧已經組成 100 餘人的科學研究團隊，其中 80% 人員來自清北，平均年齡 28 歲。

面壁智慧正在建立大模型 Agent 的雙引擎策略，希望能建構出更小規模、更快速度、更低成本的解決方案。

今年，面壁智慧也將加快速度迭代新技術。 「我們會在春節之後不斷發布 MiniCPM 的新版本，性能還會進一步提升。我們要給大家春節的休息時間，」劉知遠表示。

以上是2B參數效能超Mistral-7B：面壁智慧多模態端側模型開源的詳細內容。更多資訊請關注PHP中文網其他相關文章！