事前トレーニングされた重みを使用して LLM をローカルで実行するためのオプションは何ですか?

質問の内容

利用可能なウェイト リポジトリはありますが、インターネットに接続されていないクラスターがあります。これに対して LLM 推論を実行する必要があります。

これまでに見つけた唯一のオプションは、transformers モジュールと langchain モジュールを組み合わせて使用​​することですが、モデルのハイパーパラメーターを調整したくありません。 ollama ソフトウェアを見つけましたが、Python ライブラリ以外はクラスターに何もインストールできません。そこで、当然のことながら、LLM 推論を実行するためのオプションは何だろうと疑問に思いました。まだいくつか疑問があります。

1. Linux ソフトウェアをインストールせずに、ollama-python パッケージだけをインストールすることはできますか?それとも推論するには両方が必要ですか?
2. このクラスターに ollamama をインストールできた場合、事前トレーニングされた重みをモデルに提供するにはどうすればよいですか?役立つ場合は、(場合によっては複数の) .bin ファイル
に保存されます。

正解

実際には、ollamaをインストールする必要はありません。代わりに、mistral model のように、llm を直接 locally

で実行できます。 リーリー

またはファルコンの場合

リーリー

ラップトップには 16g メモリの nvidia 4090 がインストールされており、上記の 2 つのモデルをローカルで実行することができます。

以上が事前トレーニングされた重みを使用して LLM をローカルで実行するためのオプションは何ですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。