ホームページ > 記事 > システムチュートリアル > Windows でカスタム GPT チャットボットを実行しています: その理由と実行方法は次のとおりです

Windows でカスタム GPT チャットボットを実行しています: その理由と実行方法は次のとおりです

WBOYオリジナル: 2024-06-19 11:18:47911ブラウズ

インターネット上の GPT/AI チャットボットにアクセスするのではなく、自分のコンピューターで GPT/AI チャットボットを実行することには、多くの利点があります。その理由と、Windows でセットアップする最も簡単な方法を説明します。

独自のローカル AI チャットボットが必要な理由は何ですか?

膨大な量のトレーニングデータや最新情報にアクセスできる ChatGPT のようなオンライン AI チャットボットが主流ですが、Windows コンピューターで独自のローカルチャットボットを実行したい理由がいくつかあります。

独自の AI ツールをローカルで実行するのは無料で、オンラインツールの制限はありません。検閲はなく、あらゆる機械学習モデルをロードし、その応答と動作を調整し、あらゆるプロンプトを提供できます。すべて制限なしです (そして完全なプライバシーで）。また、特に AI またはテクノロジー業界への参入を検討している場合、最新の大規模言語モデル (LLM) AI ツールが内部でどのように機能するかを理解するのに良い方法です。

架空のキャラクターの相互作用から、プログラミング、一般知識、およびより一般的なオンラインモデルではカバーできない可能性があるその他の多くのユースケースに至るまで、ほぼあらゆるものに対応するモデルを見つけることができます。

Windows で独自のローカル GPT チャットボットをホストする方法

このチュートリアルでは、LLM のインストールと使用を簡素化する大規模言語モデル用のオープンソースインターフェイスである text-generation-web-ui-docker を使用します。

text-generation-web-ui-docker は、Docker を使用して text-generation-web-ui プロジェクトをバンドルします。これにより、すべてを別のコンテナーに保存することで、ローカル AI ツールが通常必要とする複雑な依存関係をすべてインストールして管理する必要がなくなります。あなたのシステム。ローカルチャットボットを実行するために必要なのは、Windows Subsystem for Linux (WSL) を使用して実行される Docker をサポートする Windows PC だけです。互換性を最大限に高めるには、かなり新しい GPU (理想的には NVIDIA 製の GPU) も必要です。

ステップ 1: Docker と Windows ターミナルアプリをインストールする

Docker コンテナーは、実行中のシステム全体が含まれるという点で仮想マシンに似ていますが、はるかに軽量であり、アプリケーションとそのすべての要件を 1 つにまとめて分散するのに最適です。、インストールが簡単なバンドル。 Docker で text-generation-web-ui-docker を実行するには、Windows システムに Docker をダウンロードしてインストールします。

Docker は、WSL モードまたは Hyper-V モードの 2 つの方法のいずれかで Windows 上で実行できます。 WSL はほとんどのユーザーに推奨されるため、Docker をインストールする前に WSL を有効にする必要がある場合があります。

WSL、PowerShell、および Windows コマンドラインに便利なインターフェイスを提供する Windows ターミナルアプリをインストールすることもお勧めします。

ステップ 2: Text Generation Web UI GitHub リポジトリをダウンロードする

text-generation-web-ui-docker をダウンロードするには、その GitHub ページにアクセスしてください。緑色の「コード」ボタンをクリックし、ドロップダウンメニューから「Download Zip」をクリックすると、必要なすべてのファイルを含む「.zip」ファイルをダウンロードできます。

以下のスクリーンショットは、GitHub ページでこれを見つける場所を示しています。

I Run a Custom GPT Chatbot in Windows: Here’s Why and How to Do It

Brad Morton / How-To Geek

ダウンロードした ZIP ファイルを独自のフォルダーに解凍し、解凍されたファイルが含まれるフォルダーを開きます。このフォルダーの内容についてはあまり心配する必要はありません。これはすべて AI チャットボットの可動部分ですが、Docker がすべてのセットアップを処理します。

ステップ 3: Text Generation Web UI を起動する

text-generation-web-ui-docker を起動する前に、それが PC ハードウェアに合わせて構成されていることを確認する必要があります。ファイル docker-compose.yml を編集して、ハードウェアに一致するバリアント (default-nvidia またはdefault-cpu (互換性のある GPU がない場合)) を指定します。

Brad Morton / How-To Geek

次に、ダウンロードして抽出したファイルを含むフォルダー内で、空のスペースを右クリックし、[ターミナルで開く] をクリックして、新しい PowerShell ウィンドウでディレクトリを開きます。

Brad Morton / How-To Geek

次の Docker コマンドをターミナルウィンドウに入力する前に、Docker デスクトップが実行されていることを確認してください:

docker compose up -d

このコマンドは次のことを行います:

Docker アプリケーションを管理するプログラムである docker compose を実行します
up コマンドを使用してコンテナを起動します
バックグラウンドでコンテナを実行します (-d で指定されるデタッチモードと呼ばれます) Brad Morton / How-To Geek
これまでにこのコマンドを実行したことがなく、アプリケーションをダウンロード (プル) する必要がある場合は、時間がかかる可能性があるため、お茶を淹れに行く必要があるかもしれません。コマンドの実行が正常に完了すると、text-generation-web-ui-docker Docker コンテナーが作成され、開始されたことがわかります。
Brad Morton / How-To Geek
実行中のコンテナは Docker Desktop にも表示され、そこで停止、起動、管理できます。
Brad Morton / How-To Geek
ステップ 4: OpenAI から GPT-2 モデルをインストールする

text-generation-web-ui-docker が起動して Docker で実行されたら、アドレス http: を入力してアクセスできます。 //localhost:7860 をブラウザのアドレスバーに入力します。 Localhost は、コンピュータが自身で実行しているサービスにアクセスするために使用するアドレスで、各サービスには一意のポート番号 (この場合は 7860) が割り当てられます。 Docker デスクトップでコンテナーを開くと、実行中の Docker コンテナーがローカルホスト上でどのポートを使用できるようにしたかを確認できます。

これは、インターネット上で ChatGPT を使用するときに得られる GPT よりも古いバージョンです。したがって、期待されるほどスマートでも直感的でもありませんが、カスタマイズ可能でプライベートです。

Web インターフェースの「モデル」タブに移動し、「モデルまたは LoRA をダウンロード」ボックスに「openai-community/gpt2」と入力し、「ダウンロード」ボタンをクリックします。これには数分かかる場合があります。
Brad Morton / How-To Geek
左上の [更新] アイコンをクリックし、隣の [モデル] ドロップダウンメニューから新しくダウンロードした openai-community/gpt2 を選択します。最後に、「ロード」ボタンをクリックし、成功メッセージが表示されるまで数分間待ちます。
Brad Morton / How-To Geek
このモデルは箱から出してすぐに機能し、サインアップは必要ありません。 AI に興味を持ち、さまざまなモデルや AI ツールを試してみたい場合は、HuggingFace で詳細を見つけることができます。

ステップ 5: カスタム GPT AI チャットボットの使用を開始する

これは、オンラインで使い慣れている AI チャットボットとはまったく異なります。AI チャットボットは、多くの状況をカバーする一般的な使用のためにすでにセットアップされています。モデルと対話する前に、どのように動作するかをモデルに伝える必要があります。そうしないと、出力が少し不安定になってしまいます。
Brad Morton / How-To Geek
やあ、正解は得られましたが、この AI チャットボットには少し微調整が必要です。

調整できることはたくさんありますが、少し扱いにくいかもしれません。最初は可能ですが、練習と経験を積めば、自分の用途に特化したチャットボットを構築でき、データを 100% 自分のコンピュータ上に保持できるため、ビジネスやその他の機密使用の場合に最適です。ローカル GPT チャットボットを構成およびトレーニングする方法については、HuggingFace の text-generation-web-ui ドキュメントと OpenAI GP2 ドキュメントを確認してください。

Windows PC から AI を使用して画像を生成したい場合は、Fooocus を使用すると、より簡単かつ即時に結果を得ることができます。