MLC LLM: オフライン操作をサポートし、グラフィックス カードが統合されたコンピューターおよび iPhone に適したオープンソース AI チャットボットです。

5 月 2 日のニュースでは、現在、ほとんどの AI チャットボットは処理のためにクラウドに接続する必要があり、ローカルで実行できるものであっても、非常に高い構成要件があります。では、インターネット接続を必要としない軽量のチャットボットはあるのでしょうか?

MLC LLM という新しいオープン ソース プロジェクトが GitHub で開始されました。インターネット接続を必要とせずに完全にローカルで実行されます。古いコンピュータや Apple iPhone 携帯電話でも実行できます。

MLC LLM プロジェクトの紹介には、次のように記載されています。「MLC LLM は、あらゆる言語モデルをさまざまなハードウェア バックエンドやネイティブ アプリケーションのセットにプログラム的にローカルにデプロイできるユニバーサル ソリューションです。また、誰もが自分のユースケースに合わせてモデルのパフォーマンスをさらに最適化できる効率的なフレームワークでもあります。サーバーのサポートなしですべてがローカルで実行され、携帯電話やラップトップ上のローカル GPU によって高速化されます。私たちの使命は、すべての人を支援することです。個人が AI モデルを開発、最適化、展開できるようにすることです。

#▲ MLC LLM プロジェクトの公式デモ

IT ハウス クエリ GitHub ページの検出、このプロジェクトの開発者はカーネギー メロン大学の出身です。 Catalyst Program、SAMPL Machine Learning Research Group、ワシントン大学、上海交通大学、OctoML などWeb LLM

▲ MLC は Machine Learning Compilation の略です

MLC LLM は Vicuna-7B-V1.1 以降を使用しますMeta の LLaMA をベースにした軽量な LLM で、GPT3.5 や GPT4 ほどの効果はありませんが、サイズの点で有利です。

現在、MLC LLM は Windows、Linux、macOS、iOS プラットフォームで利用できますが、

Android で利用できるバージョンはまだありません。

海外メディア tomshardware のテストによると、6GB のメモリを搭載した Apple

iPhone 14 Pro Max および iPhone 12 Pro Max 携帯電話は、インストール サイズ 3GB で MLC LLM を正常に実行しました。 4GB のメモリを搭載した Apple iPhone 11 Pro Max では、MLC LLM を実行できません。

▲ 画像ソース tomshardware

さらに、ThinkPad X1 Carbon (第 6 世代) では、i7 搭載モデルである MLC LLM もテストされ、正常に動作しました。 -8550U プロセッサーを搭載し、個別のグラフィックス カードを持たず、Intel UHD 620 GPU を搭載したノートブック。 MLC LLM は PC プラットフォーム上のコマンドラインから実行する必要があります。海外メディアテストのパフォーマンスは平均的で、応答時間は 30 秒近くかかり、継続的な対話機能はほとんどありませんでした。今後の改善を期待します。バージョン。

▲ 画像ソース tomshardware

MLC LLM の GitHub ページ:

ここをクリックして表示します

以上がMLC LLM: オフライン操作をサポートし、グラフィックス カードが統合されたコンピューターおよび iPhone に適したオープンソース AI チャットボットです。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。