Ollama 上の Windows: 大規模言語モデル (LLM) をローカルで実行するための新しいツール

最近、OpenAI Translator と NextChat の両方が、Ollama でローカルに実行される大規模な言語モデルをサポートし始めました。これにより、「初心者」愛好家に新しい遊び方が追加されます。

さらに、Windows での Ollama (プレビュー バージョン) のリリースは、Windows デバイスでの AI 開発のやり方を完全に覆し、AI 分野の探索者と一般の「テスト プレーヤー」に明確な道を導きました。

オラマとは何ですか?

Ollama は、AI モデルの開発と使用を劇的に簡素化する画期的な人工知能 (AI) および機械学習 (ML) ツール プラットフォームです。

技術コミュニティでは、AI モデルのハードウェア構成と環境構築は常に厄介な問題であり、Ollama はそのような重要なニーズを解決するために登場しました。

• 一連のツールが提供されているだけでなく、さらに重要なのは、これらのツールが非常に直感的で効率的に使用できることです。AI 分野の専門家であっても、この分野の初心者であっても、Ollama で対応するサポートを見つけることができます。 。
• Ollama は使いやすさだけでなく、高度な AI モデルやコンピューティング リソースへのアクセスを少数の人に制限されなくなります。 AI および ML コミュニティにとって、Ollama の誕生はマイルストーンであり、AI テクノロジーの普及を促進し、より多くの人々が独自の AI アイデアを試して実践できるようになります。

オラマが目立つのはなぜですか?

多くの AI ツールの中で、Ollama は次の重要な利点で際立っています。これらの機能はその独自性を強調するだけでなく、AI 開発者や愛好家が遭遇する最も一般的な問題も解決します。

自動ハードウェア アクセラレーション: Ollama は、Windows システム内の最適なハードウェア リソースを自動的に特定し、最大限に活用できます。 NVIDIA GPU を搭載しているか、AVX や AVX2 などの高度な命令セットをサポートする CPU を搭載しているかに関係なく、Ollama はターゲットを絞った最適化を実現して、AI モデルがより効率的に実行されるようにすることができます。これにより、複雑なハードウェア構成の問題について心配する必要がなくなり、より多くの時間とエネルギーをプロジェクト自体に集中できるようになります。
仮想化は不要: AI を開発する場合、多くの場合、仮想マシンを構築したり、複雑なソフトウェア環境を構成したりする必要がありました。 Ollama を使用すると、これらすべてが障害にならず、AI プロジェクトの開発を直接開始できるため、プロセス全体がシンプルかつ迅速になります。この利便性により、AI テクノロジーを試したい個人や組織の参入障壁が低くなります。
完全な Ollama モデル ライブラリへのアクセス: Ollama は、LLaVA や Google の最新の Gemma モデルなどの高度な画像認識モデルを含む、豊富な AI モデル ライブラリをユーザーに提供します。このような包括的な「武器」があれば、自分で統合を探すのに時間と労力を費やすことなく、さまざまなオープンソース モデルを簡単に試して適用することができます。テキスト分析、画像処理、その他の AI タスクを実行する場合でも、Ollama のモデル ライブラリは強力なサポートを提供します。
Ollama の常駐 API: 今日の相互接続されたソフトウェアの世界では、AI 機能を独自のアプリケーションに統合することは非常に価値があります。 Ollama の常駐 API はこのプロセスを大幅に簡素化し、バックグラウンドでサイレントに実行され、追加の複雑なセットアップを必要とせずに強力な AI 機能をプロジェクトにシームレスに接続できるようになります。これにより、Ollama の豊富な AI 機能がいつでも利用できるようになり、開発プロセスに自然に統合して作業効率をさらに向上させることができます。

これらの慎重に設計された機能により、Ollama は AI 開発における一般的な問題を解決するだけでなく、より多くの人が高度な AI テクノロジーに簡単にアクセスして適用できるようになり、AI の応用の可能性を大幅に拡大します。

Windows での Ollama の使用

AI と ML の新時代へようこそ!次に、開始の各ステップを説明し、スムーズに進めるための実用的なコードとコマンドの例もいくつか紹介します。

ステップ 1: ダウンロードとインストール

1Ollama Windows プレビュー ページにアクセスし、

OllamaSetup.exe インストール プログラムをダウンロードします。

2 ファイルをダブルクリックし、「インストール」をクリックするとインストールが開始されます。

3インストールが完了したら、Windows で Ollama を使い始めることができます。とても簡単ですね。

ステップ 2: Ollama を起動してモデルを取得します

Ollama を起動し、モデル ライブラリからオープンソース AI モデルを取得するには、次の手順に従います。

1 [スタート] メニューの Ollama アイコンをクリックすると、実行後、タスクバー トレイにアイコンが表示されます。

2 タスクバーのアイコンを右クリックし、「ログの表示」を選択してコマンド ライン ウィンドウを開きます。

3次のコマンドを実行して Ollama を実行し、モデルをロードします:

リーリー

上記のコマンドを実行すると、Ollama の初期化が開始され、選択したモデルが Ollama モデル ライブラリから自動的に取得されてロードされます。準備ができたら、指示を送信すると、選択したモデルを理解して応答します。

modelname 名前を実行するモデルの名前に置き換えることを忘れないでください。一般的に使用されるものは次のとおりです:

＃＃＃モデル＃＃＃ ＃＃＃サイズ＃＃＃ ラマ 27Bオラマ、ラマを実行します27Bオラマ ラン コデラマ13Bオラマ、ラマを実行します2:13b70Bオラマ ラン ラマ2:70b ＃＃＃ミストラル＃＃＃ 4.1GBオラマ・ラン・ミストラル26GBオラマ ラン ミックストラル:8x7b1.7GBオラマ ラン ファイ4.5GBオラマ・ラン・ラヴァコロンビア大学1.4GBオラマ ラン ジェマ:2b ＃＃＃グーグル＃＃＃ オラマ ラン ジェマ:7b ＃＃＃グーグル＃＃＃ オラマ ラン クウェン:4bオラマ ラン クウェン:7bオラマ ラン クウェン:14b

パラメータ	インストールコマンド	出版組織
3.8GB			メタ	コードラマ
3.8GB			メタ	ラマ 2 13B
7.3GB			メタ	ラマ 2 70B
39GB			メタ	7B
		ミストラルAI	ミックストラル	8x7b
		ミストラルAI	ファイ-2	2.7B
		マイクロソフトリサーチ	LLaVA	7B
		マイクロソフトリサーチ	ウィスコンシン州	ジェマ 2B 2B
			ジェマ 7B 7B	4.8GB
		クウェン 4B	4B 2.3GB
アリババ		クウェン 7B	7B 4.5GB
アリババ		クウェン 14B	14B 8.2GB
アリババ		运行 7B 至少需要 8GB 内存，运行 13B 至少需要 16GB 内存。 步骤 3：使用模型 如前所述，Ollama 支持通过各种各样的开源模型来完成不同的任务，下面就来看看怎么使用。 基于文本的模型：加载好文本模型后，就可以直接在命令行里输入文字开始与模型「对话」。例如，阿里的 Qwen（通义千问）： 基于图像的模型：如果你想使用图像处理模型，如 LLaVA 1.6，可以使用以下命令来加载该模型： ollama run llava1.6 Ollama 会使用你选择的模型来分析这张图片，并给你一些结果，比如图片的内容和分类，图片是否有修改，或者其他的分析等等（取决于所使用的模型）。 步骤 4：连接到 Ollama API 我们不可能只通过命令行来使用，将应用程序连接到 Ollama API 是一个非常重要的步骤。这样就可以把 AI 的功能整合到自己的软件里，或者在 OpenAI Translator 和 NextChat 这类的前端工具中进行调用。 以下是如何连接和使用 Ollama API 的步骤： 默认地址和端口：Ollama API 的默认地址是http://localhost:11434，可以在安装 Ollama 的系统中直接调用。 修改 API 的侦听地址和端口：如果要在网络中提供服务，可以修改 API 的侦听地址和端口。 1右击点击任务栏图标，选择「Quit Ollama」退出后台运行。 2使用Windows + R快捷键打开「运行」对话框，输出以下命令，然后按Ctrl + Shift + Enter以管理员权限启动「环境变量」。 C:Windowssystem32rundll32.exe sysdm.cpl, EditEnvironmentVariables 3要更改侦听地址和端口，可以添加以下环境变量： 变量名：OLLAMA_HOST 变量值（端口）：:8000 只填写端口号可以同时侦听（所有） IPv4 和 IPv6 的:8000端口。 要使用 IPv6，需要 Ollama 0.0.20 或更新版本。 4如果安装了多个模型，可以通过OLLAMA_MODELS变量名来指定默认模型。 5更改完之后，重新运行 Ollama。然后在浏览器中测试访问，验证更改是否成功。 6示例 API 调用： 要使用 Ollama API，可以在自己的程序里发送 HTTP 请求。下面是在「终端」里使用curl命令给 Gemma 模型发送文字提示的例子： curl http://192.168.100.10:8000/api/generate -d '{ "model": "gemma:7b", "prompt": "天空为什么是蓝色的？" }' 返回响应的格式，目前只支持 Json 格式。 Ollama 的常用命令有： # 查看 Ollama 版本 ollama -v # 查看已安装的模型 ollama list # 删除指定模型 ollama rm [modelname] # 模型存储路径 # C:Users\.ollamamodels 按照上述步骤，并参考命令示例，你可以在 Windows 上尽情体验 Ollama 的强大功能。不管是在命令行中直接下达指令，通过 API 将 AI 模型集成到你的软件当中，还是通过前端套壳，Ollama 的大门都已经为你敞开。 Ollama on Windows 的最佳实践 要让 Ollama 在 Windows 上充分发挥最大潜力，需要注意以下几点最佳实践和技巧，这将帮助你优化性能并解决一些常见问题： Ollama のパフォーマンスを最適化する: ハードウェア構成を確認する: 特に大規模なモデルを実行している場合は、デバイスが Ollama の推奨ハードウェア要件を満たしていることを確認してください。 NVIDIA GPU をお持ちの場合は、Ollama が提供する自動ハードウェア アクセラレーションを利用することもでき、これによりコンピューティング速度が大幅に向上します。 ドライバーの更新: Ollama との互換性と最適なパフォーマンスを確保するために、グラフィック カード ドライバーを最新の状態に保ちます。 システム リソースを解放する: 大規模なモデルを実行する場合や複雑なタスクを実行する場合は、不要なプログラムを閉じてシステム リソースを解放してください。 適切なモデルを選択: タスクの要件に基づいて適切なモデルを選択します。パラメータが大きいモデルはより正確である可能性がありますが、より高い計算能力も必要とします。単純なタスクの場合は、小さなパラメーター モデルを使用する方が効率的です。 オラマに関するよくある質問 インストールの問題 Windows システムが最新バージョンであることを確認してください。 ソフトウェアをインストールするために必要な権限があることを確認してください。 インストーラーを管理者として実行してみてください。 モデル読み込みエラー 入力したコマンドが正しいか確認してください。 モデル名が Ollama モデル ライブラリ内の名前と一致することを確認します。 Ollama のバージョンを確認して更新します。 Ollama API 接続の問題 Ollama が実行されていることを確認してください。 リスニング アドレスとポート、特にポートが他のアプリケーションによって占有されているかどうかを確認します。 このチュートリアルでは、Ollama のインストール、基本的なコマンドの実行、Ollama モデル ライブラリの使用、API を介した Ollama への接続など、Windows に Ollama をインストールして使用する方法を学びました。 Ollama を詳しく調べて、さまざまなモデルを試してみることをお勧めします。 Ollama には無限の可能性があり、それを使えばさらに多くのことを達成できます。

以上がOllama 上の Windows: 大規模言語モデル (LLM) をローカルで実行するための新しいツールの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。