ChatGPT をコンピュータにインストールしますか?国産オープンソース大規模言語モデルChatGLMがそれを実現します！

＃＃＃こんにちは、みんな。

今日は、オープンソースの大規模言語モデル ChatGLM-6B を共有したいと思います。

# 10 日以内に、ほぼ 10,000 個のスターを獲得しました。

ChatGLM-6B は、中国語と英語のバイリンガルをサポートするオープンソースの会話言語モデルで、一般言語モデル (GLM) アーキテクチャに基づいており、62 億のパラメータがあります。モデル量子化テクノロジーと組み合わせることで、ユーザーはそれを民生用グラフィック カードにローカルに展開できます (INT4 量子化レベルでは最低 6GB のビデオ メモリが必要です)。 ChatGLM-6B は ChatGPT と同様のテクノロジーを使用しており、中国語の質疑応答と対話に最適化されています。約 1T の識別子を使用した中国語と英語のバイリンガル トレーニングを経て、教師付き微調整、フィードバック セルフサービス、ヒューマン フィードバック強化学習、その他のテクノロジーによって補完された後、62 億パラメータの ChatGLM-6B は、次の内容と完全に一致する回答を生成することができました。人間の好み。

誰でも自分のコンピュータにインストールして試すことができます。独立したグラフィックスの最小ビデオ メモリは 6G で、CPU コンピュータでも実行できますが、非常に遅いです。

プロジェクトは現在、モデルと推論コードのみをオープンソースにしていますが、モデルのトレーニングはオープンソースにしていません。

プロジェクトを実行するには、2 つのステップのみが必要です。

最初のステップは、ソース コードをダウンロードします。

git clone https://github.com/THUDM/ChatGLM-6B.git

pip install -rrequirements.txt を実行して、依存関係をインストールします

2 番目のステップ ステップ、プロジェクトを実行します

python web_demo.py

実行後、モデル ファイルが自動的にダウンロードされます (約 4G)。

GPU で実行している場合、デフォルトでは、ビデオ メモリを実行するモデルは少なくとも 13G です。ビデオ メモリが十分でない場合は、web_demo.py

tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().cuda()

THUDM を変更できます。上記コードの/chatglm-6b THUDM/chatglm-6b-int4、つまりint4量子化モデルを使用しており、ビデオメモリが6g以上あればスムーズに動作します。

CPU メモリ不足が報告された場合は、他のソフトウェア、特にブラウザをオフにしてください。

操作が成功すると、自動的にブラウザのページにジャンプし、ChatGPT と同様に使用できます。

以下は私がローカルで操作した結果ですが、ChatGPTとの違いがわかります

自己認識

アウトラインを書く

##メールを書く

コードを書く

##ロール プレイ

プロジェクトは非常に簡単に実行できるので、試してみることができます。

この記事が役に立ったと思われる場合は、「読む」をクリックして励みにしてください。今後も優れた Python AI プロジェクトを共有していきます。

以上がChatGPT をコンピュータにインストールしますか?国産オープンソース大規模言語モデルChatGLMがそれを実現します！の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。