MLC LLM：開源AI聊天機器人，支援離線運行，適用於整合顯示卡電腦和iPhone。

5 月 2 日訊息，目前大多數 AI 聊天機器人都需要連接到雲端進行處理，即使可以本地運行的也配置要求極高。那麼是否有輕量化的、無需連網的聊天機器人呢？

一個名為 MLC LLM 的全新開源專案已在 GitHub 上線，完全本地運行無需聯網，甚至集顯舊電腦、蘋果 iPhone 手機都能運作。

MLC LLM 專案介紹稱：「MLC LLM 是一種通用解決方案，它允許將任何語言模型本地部署在一組不同的硬體後端和本地應用程式上，此外還有一個高效的框架，供每個人進一步優化自己用例的模型性能。一切都在本地運行，無需伺服器支持，並透過手機和筆記型電腦上的本地GPU 加速。我們的使命是讓每個人都能在設備上本地開發、優化和部署AI 模型。」

#▲ MLC LLM 專案官方演示

IT之家查詢GitHub 頁面發現，這個計畫的開發者來自卡內基美隆大學的Catalyst 計畫、SAMPL 機器學習研究小組以及華盛頓大學、上海交通大學和OctoML 等。他們還有一個名為Web LLM

▲ MLC 是Machine Learning Compilation 的簡稱

MLC LLM 使用了Vicuna-7B-V1.1，後者是基於Meta 的LLaMA 的輕量級LLM，效果雖然不如GPT3.5 或GPT4，但在大小上比較佔優勢。

目前，MLC LLM 可用於 Windows、Linux、macOS 和 iOS 平台，暫時還沒有適用於 Android 的版本。

根據外媒 tomshardware 的測試，6GB 記憶體的蘋果 iPhone 14 Pro Max 和 iPhone 12 Pro Max 手機成功運行了 MLC LLM，安裝大小為 3GB。而 4GB 記憶體的蘋果 iPhone 11 Pro Max 無法運作 MLC LLM。

▲ 圖源 tomshardware

此外，ThinkPad X1 Carbon（第6 代）也測試成功運行 MLC LLM，這是一款搭載 i7-8550U處理器的筆記本，沒有獨立顯示卡，附英特爾 UHD 620 GPU。 MLC LLM 在 PC 平台需要透過命令列運行，外媒測試表現一般般，回覆時間需要將近 30 秒，而且幾乎沒有連續對話能力，希望能在後續版本中得到改進。

▲ 圖片來源 tomshardware

#MLC LLM 的 GitHub 頁面：點此檢視

#

以上是MLC LLM：開源AI聊天機器人，支援離線運行，適用於整合顯示卡電腦和iPhone。的詳細內容。更多資訊請關注PHP中文網其他相關文章！