Heim > Artikel > Computer-Tutorials > Windows auf Ollama: Ein neues Tool zum lokalen Ausführen großer Sprachmodelle (LLM).
Vor kurzem haben sowohl OpenAI Translator als auch NextChat damit begonnen, umfangreiche Sprachmodelle zu unterstützen, die lokal in Ollama ausgeführt werden, was eine neue Spielweise für „Neulinge“-Enthusiasten bietet.
Und die Einführung von Ollama unter Windows (Vorschauversion) hat die Art und Weise der KI-Entwicklung auf Windows-Geräten völlig untergraben. Es hat Forschern im KI-Bereich und gewöhnlichen „Wassertestspielern“ einen klaren Weg gewiesen.
Ollama ist eine bahnbrechende Toolplattform für künstliche Intelligenz (KI) und maschinelles Lernen (ML), die die Entwicklung und Verwendung von KI-Modellen erheblich vereinfacht.
In der technischen Gemeinschaft waren die Hardwarekonfiguration und die Umgebungskonstruktion von KI-Modellen schon immer ein heikles Problem, und Ollama ist entstanden, um solche kritischen Anforderungen zu lösen:
Unter vielen KI-Tools zeichnet sich Ollama durch die folgenden Hauptvorteile aus. Diese Funktionen unterstreichen nicht nur seine Einzigartigkeit, sondern lösen auch die häufigsten Probleme, mit denen KI-Entwickler und -Enthusiasten konfrontiert sind:
Durch diese sorgfältig entwickelten Funktionen löst Ollama nicht nur häufige Probleme bei der KI-Entwicklung, sondern ermöglicht auch mehr Menschen den einfachen Zugriff auf fortschrittliche KI-Technologie und deren Anwendung, wodurch sich die Anwendungsaussichten von KI erheblich erweitern.
Willkommen in der neuen Ära von KI und ML! Als Nächstes führen wir Sie durch alle Schritte des Einstiegs und stellen Ihnen außerdem einige praktische Code- und Befehlsbeispiele zur Verfügung, um sicherzustellen, dass Ihre Reise reibungslos verläuft.
1Besuchen Sie die Ollama Windows-Vorschauseite und laden Sie den OllamaSetup.exe
Installer herunter.
2 Doppelklicken Sie auf die Datei und klicken Sie auf „Installieren“, um die Installation zu starten.
3Nachdem die Installation abgeschlossen ist, können Sie Ollama unter Windows verwenden. Ist das nicht ganz einfach?
Um Ollama zu starten und ein Open-Source-KI-Modell aus der Modellbibliothek zu erhalten, führen Sie die folgenden Schritte aus:
1 Klicken Sie auf das Ollama-Symbol im „Start“-Menü. Nach dem Ausführen verbleibt ein Symbol in der Taskleiste.
2 Klicken Sie mit der rechten Maustaste auf das Taskleistensymbol und wählen Sie „Protokoll anzeigen“, um das Befehlszeilenfenster zu öffnen.
3Führen Sie den folgenden Befehl aus, um Ollama auszuführen und das Modell zu laden:
ollama run [modelname]
Nachdem der obige Befehl ausgeführt wurde, beginnt Ollama mit der Initialisierung und zieht und lädt automatisch das ausgewählte Modell aus der Ollama-Modellbibliothek. Sobald es fertig ist, können Sie ihm Anweisungen senden und es wird das ausgewählte Modell verstehen und darauf reagieren.
Denken Sie daran, den Namen modelname
durch den Namen des Modells zu ersetzen, das Sie ausführen möchten:
Modell | Parameter | Größe | Installationsbefehl | Verlagsorganisation |
---|---|---|---|---|
Lama 2 | 7B | 3,8 GB | ollama run llama2 |
Meta |
Code Lama | 7B | 3,8 GB | ollama run codellama |
Meta |
Lama 2 13B | 13B | 7,3 GB | ollama run llama2:13b |
Meta |
Lama 2 70B | 70B | 39GB | ollama run llama2:70b |
Meta |
Mistral | 7B | 4,1 GB | ollama run mistral |
Mistral AI |
mixtral | 8x7b | 26GB | ollama run mixtral:8x7b |
Mistral AI |
Phi-2 | 2,7B | 1,7 GB | ollama run phi |
Microsoft Research |
LLaVA | 7B | 4,5 GB | ollama run llava |
Microsoft Research Columbia University Wisconsin |
Gemma 2B | 2B | 1,4 GB | ollama run gemma:2b |
|
Gemma 7B | 7B | 4,8 GB | ollama run gemma:7b |
|
Qwen 4B | 4B | 2,3 GB | ollama run qwen:4b |
Alibaba |
Qwen 7B | 7B | 4,5 GB | ollama run qwen:7b |
Alibaba |
Qwen 14B | 14B | 8,2 GB | ollama run qwen:14b |
Alibaba |
运行 7B 至少需要 8GB 内存,运行 13B 至少需要 16GB 内存。
如前所述,Ollama 支持通过各种各样的开源模型来完成不同的任务,下面就来看看怎么使用。
ollama run llava1.6
Ollama 会使用你选择的模型来分析这张图片,并给你一些结果,比如图片的内容和分类,图片是否有修改,或者其他的分析等等(取决于所使用的模型)。
我们不可能只通过命令行来使用,将应用程序连接到 Ollama API 是一个非常重要的步骤。这样就可以把 AI 的功能整合到自己的软件里,或者在 OpenAI Translator 和 NextChat 这类的前端工具中进行调用。
以下是如何连接和使用 Ollama API 的步骤:
http://localhost:11434
,可以在安装 Ollama 的系统中直接调用。1右击点击任务栏图标,选择「Quit Ollama」退出后台运行。
2使用Windows + R
快捷键打开「运行」对话框,输出以下命令,然后按Ctrl + Shift + Enter
以管理员权限启动「环境变量」。
C:Windowssystem32rundll32.exe sysdm.cpl, EditEnvironmentVariables
3要更改侦听地址和端口,可以添加以下环境变量:
OLLAMA_HOST
:8000
只填写端口号可以同时侦听(所有) IPv4 和 IPv6 的:8000
端口。
要使用 IPv6,需要 Ollama 0.0.20 或更新版本。
4如果安装了多个模型,可以通过OLLAMA_MODELS
变量名来指定默认模型。
5更改完之后,重新运行 Ollama。然后在浏览器中测试访问,验证更改是否成功。
6示例 API 调用: 要使用 Ollama API,可以在自己的程序里发送 HTTP 请求。下面是在「终端」里使用curl
命令给 Gemma 模型发送文字提示的例子:
curl http://192.168.100.10:8000/api/generate -d '{ "model": "gemma:7b", "prompt": "天空为什么是蓝色的?" }'
返回响应的格式,目前只支持 Json 格式。
# 查看 Ollama 版本 ollama -v # 查看已安装的模型 ollama list # 删除指定模型 ollama rm [modelname] # 模型存储路径 # C:Users\.ollamamodels
按照上述步骤,并参考命令示例,你可以在 Windows 上尽情体验 Ollama 的强大功能。不管是在命令行中直接下达指令,通过 API 将 AI 模型集成到你的软件当中,还是通过前端套壳,Ollama 的大门都已经为你敞开。
要让 Ollama 在 Windows 上充分发挥最大潜力,需要注意以下几点最佳实践和技巧,这将帮助你优化性能并解决一些常见问题:
In diesem Tutorial haben wir gelernt, wie man Ollama unter Windows installiert und verwendet, einschließlich der Installation von Ollama, der Ausführung grundlegender Befehle, der Verwendung der Ollama-Modellbibliothek und der Verbindung mit Ollama über die API. Ich empfehle Ihnen, sich mit Ollama auseinanderzusetzen und verschiedene Modelle auszuprobieren.
Ollama hat unbegrenztes Potenzial und damit können Sie mehr Möglichkeiten erreichen!
Das obige ist der detaillierte Inhalt vonWindows auf Ollama: Ein neues Tool zum lokalen Ausführen großer Sprachmodelle (LLM).. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!