Pytorch＆＃x27; s Torchchatチュートリアル：Pythonを使用したローカルセットアップ

Torchchat：ローカルマシンに大きな言語モデルの推論をもたらす

大規模な言語モデル（LLMS）はテクノロジーを変換していますが、個人のデバイスにそれらを展開することは、ハードウェアの制限のために困難でした。 Pytorchの新しいTorchchatフレームワークはこれに対処し、ラップトップからモバイルデバイスまで、さまざまなハードウェアプラットフォームで効率的なLLM実行を可能にします。 この記事では、PythonでTorchchatをローカルにセットアップして使用するための実用的なガイドを提供します。 FacebookのAI Research Labの（公正な）オープンソースの機械学習フレームワーク、Torchchatを支えるPytorch Torchchatの主要な機能：

Torchchatには、4つのコア機能があります。

python/pytorch llm実行：

PythonとPytorchがインストールされたマシンでLLMを実行し、端末またはREST APIサーバーを介して直接対話します。 この記事では、このセットアップに焦点を当てています
1. 自己完結型モデルの展開：aotインダクタ（先行インダクタ）を利用して、TorchchatはPythonとPytorchとは無関係に自己完結型の実行可能ファイル（動的ライブラリ）を作成します。これにより、再コンパイルなしの生産環境での安定したモデルのランタイムが保証されます。 AOTインダクタは、効率的なバイナリ形式を介して展開を最適化し、Torchscriptのオーバーヘッドを上回ります。
2. モバイルデバイスの実行：executorchを活用して、Torchchatはモバイルおよび埋め込みデバイスのモデルを最適化し、実行するためのPTEアーティファクトを生成します。
モデルの評価：
3. 研究とベンチマークには重要なフレームワークを使用してLLMパフォーマンスを評価します。
なぜLLMSをローカルに実行するのですか？
4. ローカルLLM実行には、いくつかの利点があります： lm_eval

プライバシーの強化：

ヘルスケア、財務、および法律セクターの機密データに最適であり、組織インフラストラクチャ内にデータが残るようにします。

リアルタイムのパフォーマンス：

インタラクティブなチャットボットやリアルタイムコンテンツ生成など、迅速な応答が必要なアプリケーションのレイテンシを最小限に抑えます。

• オフライン機能：インターネット接続が限られている、または無限のエリアでLLMの使用を有効にします。>
• コストの最適化：大量のアプリケーションでのクラウドAPIの使用よりも費用対効果が高い。>
Pythonを使用したローカルセットアップ：ステップバイステップガイド
• リポジトリをクローンします：git：を使用してtorchchatリポジトリをクローンします

代わりに、githubインターフェイスから直接ダウンロードします。

1. インストール：

   git clone git@github.com:pytorch/torchchat.git

   Python 3.10がインストールされていると仮定し、仮想環境を作成します：
   指定されたスクリプトを使用して、依存関係をインストールします：

   

   インストールの確認：

git clone git@github.com:pytorch/torchchat.git

2. TorchChatを使用：

   • サポートされているモデルのリスト：

     python -m venv .venv
     source .venv/bin/activate

     

   • モデルのダウンロード：hugging hugging hugging face cli（pip install huggingface_hub）をインストールし、ハグするフェイスアカウントを作成し、アクセストークンを生成し、ログイン（huggingface-cli login）にログインします。モデルをダウンロードしてください（例：stories15M）：

     ./install_requirements.sh

   • モデルの実行：テキストを生成：

     python torchchat.py --help

     またはチャットモードを使用してください：

     python torchchat.py list

   • アクセスのリクエスト：）、エラーメッセージの指示に従ってください。 llama3

   

高度な使用法：微調整パフォーマンス

精密制御（
• ）：速度/精度のトレードオフのデータ型を調整します（例：--dtype）。 --dtype fastJust-in-time（jit）compilation（）：
推論速度が向上します（ただし、スタートアップ時間が増加します）。
• Quantization（）： Model Sizeを縮小し、JSON構成ファイルを使用して速度を向上させます。 --compileデバイスの仕様（
）：
• デバイスを指定します（例えば、） --quantize 結論
• TorchchatはローカルLLMの実行を簡素化し、高度なAIをよりアクセスしやすくします。このガイドは、その機能を調査するための基盤を提供します。 Torchchatの機能に関するさらなる調査を強くお勧めします

以上がPytorch＆＃x27; s Torchchatチュートリアル：Pythonを使用したローカルセットアップの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。