Windows sur Ollama : un nouvel outil pour exécuter des modèles de langage étendus (LLM) localement

Récemment, OpenAI Translator et NextChat ont commencé à prendre en charge de grands modèles de langage exécutés localement dans Ollama, ce qui ajoute une nouvelle façon de jouer pour les passionnés « débutants ».

Et le lancement d'Ollama sur Windows (version préliminaire) a complètement bouleversé la manière de développer l'IA sur les appareils Windows. Il a tracé une voie claire pour les explorateurs dans le domaine de l'IA et les "acteurs de tests d'eau" ordinaires.

Qu'est-ce qu'Ollama ?

Ollama est une plateforme d'outils révolutionnaire d'intelligence artificielle (IA) et d'apprentissage automatique (ML) qui simplifie grandement le développement et l'utilisation de modèles d'IA.

Dans la communauté technique, la configuration matérielle et la construction de l'environnement des modèles d'IA ont toujours été un problème épineux, et Ollama a émergé pour résoudre ces besoins critiques :

• Il fournit non seulement une série d'outils, mais plus important encore, ces outils sont très intuitifs et efficaces à utiliser Que vous soyez un professionnel dans le domaine de l'IA ou un novice nouveau dans ce domaine, vous pouvez trouver le support correspondant sur. Ollama.
• Plus qu'une simple facilité d'utilisation, Ollama permet également que l'accès aux modèles d'IA avancés et aux ressources informatiques ne soit plus limité à quelques personnes. Pour la communauté IA et ML, la naissance d'Ollama est une étape importante. Elle favorise la vulgarisation de la technologie IA et permet à davantage de personnes d'essayer et de mettre en pratique leurs propres idées en matière d'IA.

Pourquoi Ollama se démarque-t-il ?

Parmi les nombreux outils d'IA, Ollama se distingue par les avantages clés suivants. Ces fonctionnalités soulignent non seulement son caractère unique, mais résolvent également les problèmes les plus courants rencontrés par les développeurs et les passionnés d'IA :

• Accélération matérielle automatique : Ollama peut identifier automatiquement et utiliser pleinement les ressources matérielles optimales dans les systèmes Windows. Que vous soyez équipé d'un GPU NVIDIA ou d'un CPU prenant en charge les jeux d'instructions avancés tels que AVX et AVX2, Ollama peut réaliser une optimisation ciblée pour garantir que le modèle d'IA fonctionne plus efficacement. Grâce à lui, vous n'avez plus à vous soucier des problèmes complexes de configuration matérielle et vous pouvez consacrer plus de temps et d'énergie au projet lui-même.
• Aucune virtualisation requise : lors du développement de l'IA, il était souvent nécessaire de créer une machine virtuelle ou de configurer un environnement logiciel complexe. Avec Ollama, tout cela n'est plus un obstacle. Vous pouvez démarrer directement le développement de projets d'IA, rendant l'ensemble du processus simple et rapide. Cette commodité réduit les barrières à l’entrée pour les individus ou les organisations qui souhaitent essayer la technologie de l’IA.
• Accès à la bibliothèque complète de modèles Ollama : Ollama fournit aux utilisateurs une riche bibliothèque de modèles d'IA, y compris des modèles avancés de reconnaissance d'images comme LLaVA et le dernier modèle Gemma de Google. Avec un « arsenal » aussi complet, nous pouvons facilement essayer d'appliquer divers modèles open source sans avoir à consacrer du temps et des efforts à rechercher nous-mêmes des intégrations. Que vous souhaitiez effectuer une analyse de texte, un traitement d'image ou d'autres tâches d'IA, la bibliothèque de modèles d'Ollama peut vous fournir un support solide.
• API résidente d'Ollama : à l'ère actuelle de l'interconnexion logicielle, l'intégration de fonctions d'IA dans vos propres applications est extrêmement précieuse. L'API résidente d'Ollama simplifie considérablement ce processus, en s'exécutant silencieusement en arrière-plan, prête à connecter de manière transparente de puissantes capacités d'IA à votre projet sans avoir besoin d'une configuration compliquée supplémentaire. Grâce à lui, les riches capacités d'IA d'Ollama seront prêtes à tout moment et pourront être naturellement intégrées dans votre processus de développement pour améliorer encore l'efficacité du travail.

Grâce à ces fonctionnalités soigneusement conçues, Ollama résout non seulement les problèmes courants dans le développement de l'IA, mais permet également à un plus grand nombre de personnes d'accéder et d'appliquer facilement la technologie d'IA avancée, élargissant ainsi considérablement les perspectives d'application de l'IA.

Utiliser Ollama sous Windows

Bienvenue dans la nouvelle ère de l'IA et du ML ! Ensuite, nous vous guiderons à travers chaque étape de démarrage, et nous fournirons également des exemples pratiques de code et de commandes pour vous assurer un voyage fluide.

Étape 1 : Téléchargez et installez

1Visitez la page Ollama Windows Preview et téléchargez le OllamaSetup.exeinstaller.

2 Double-cliquez sur le fichier et cliquez sur "Installer" pour démarrer l'installation.

3Une fois l'installation terminée, vous pouvez commencer à utiliser Ollama sous Windows. N'est-ce pas très simple ?

Étape 2 : Lancez Ollama et récupérez le modèle

Pour lancer Ollama et obtenir un modèle d'IA open source à partir de la bibliothèque de modèles, suivez ces étapes :

1 Cliquez sur l'icône Ollama dans le menu "Démarrer". Après l'exécution, une icône restera dans la barre des tâches.

2 Cliquez avec le bouton droit sur l'icône de la barre des tâches et sélectionnez « Afficher le journal » pour ouvrir la fenêtre de ligne de commande.

3Exécutez la commande suivante pour exécuter Ollama et charger le modèle :

ollama run [modelname]

Après avoir exécuté la commande ci-dessus, Ollama commencera à s'initialiser et à extraire et charger automatiquement le modèle sélectionné à partir de la bibliothèque de modèles Ollama. Une fois prêt, vous pourrez lui envoyer des instructions et il comprendra et répondra en utilisant le modèle choisi.

N'oubliez pas de remplacer le nom modelname par le nom du modèle que vous souhaitez exécuter. Les plus couramment utilisés sont :

.

Modèle	Paramètres	Taille	Commande d'installation	Organisation d'édition
Lama 2	7B	3,8 Go	ollama run llama2	Méta
Code Lama	7B	3,8 Go	ollama run codellama	Méta
Lama 2 13B	13B	7,3 Go	ollama run llama2:13b	Méta
Lama 2 70B	70B	39 Go	ollama run llama2:70b	Méta
Mistral	7B	4,1 Go	ollama run mistral	Mistral IA
mixtral	8x7b	26 Go	ollama run mixtral:8x7b	Mistral IA
Phi-2	2,7B	1,7 Go	ollama run phi	Recherche Microsoft
LLaVA	7B	4,5 Go	ollama run llava	Microsoft Research Université Columbia Wisconsin
Gemma 2B	2B	1,4 Go	ollama run gemma:2b	Google
Gemme 7B	7B	4,8 Go	ollama run gemma:7b	Google
Qwen 4B	4B	2,3 Go	ollama run qwen:4b	Alibaba
Qwen 7B	7B	4,5 Go	ollama run qwen:7b	Alibaba
Qwen 14B	14B	8,2 Go	ollama run qwen:14b	Alibaba

运行 7B 至少需要 8GB 内存，运行 13B 至少需要 16GB 内存。

步骤 3：使用模型

如前所述，Ollama 支持通过各种各样的开源模型来完成不同的任务，下面就来看看怎么使用。

• 基于文本的模型：加载好文本模型后，就可以直接在命令行里输入文字开始与模型「对话」。例如，阿里的 Qwen（通义千问）：

• 基于图像的模型：如果你想使用图像处理模型，如 LLaVA 1.6，可以使用以下命令来加载该模型：

ollama run llava1.6

Ollama 会使用你选择的模型来分析这张图片，并给你一些结果，比如图片的内容和分类，图片是否有修改，或者其他的分析等等（取决于所使用的模型）。

步骤 4：连接到 Ollama API

我们不可能只通过命令行来使用，将应用程序连接到 Ollama API 是一个非常重要的步骤。这样就可以把 AI 的功能整合到自己的软件里，或者在 OpenAI Translator 和 NextChat 这类的前端工具中进行调用。

以下是如何连接和使用 Ollama API 的步骤：

• 默认地址和端口：Ollama API 的默认地址是http://localhost:11434，可以在安装 Ollama 的系统中直接调用。
• 修改 API 的侦听地址和端口：如果要在网络中提供服务，可以修改 API 的侦听地址和端口。

1右击点击任务栏图标，选择「Quit Ollama」退出后台运行。

2使用Windows + R快捷键打开「运行」对话框，输出以下命令，然后按Ctrl + Shift + Enter以管理员权限启动「环境变量」。

C:Windowssystem32rundll32.exe sysdm.cpl, EditEnvironmentVariables

3要更改侦听地址和端口，可以添加以下环境变量：

• 变量名：OLLAMA_HOST
• 变量值（端口）：:8000

只填写端口号可以同时侦听（所有） IPv4 和 IPv6 的:8000端口。

要使用 IPv6，需要 Ollama 0.0.20 或更新版本。

4如果安装了多个模型，可以通过OLLAMA_MODELS变量名来指定默认模型。

5更改完之后，重新运行 Ollama。然后在浏览器中测试访问，验证更改是否成功。

6示例 API 调用： 要使用 Ollama API，可以在自己的程序里发送 HTTP 请求。下面是在「终端」里使用curl命令给 Gemma 模型发送文字提示的例子：

curl http://192.168.100.10:8000/api/generate -d '{
"model": "gemma:7b",
"prompt": "天空为什么是蓝色的？"
}'

返回响应的格式，目前只支持 Json 格式。

Ollama 的常用命令有：

# 查看 Ollama 版本
ollama -v

# 查看已安装的模型
ollama list

# 删除指定模型
ollama rm [modelname]

# 模型存储路径
# C:Users\.ollamamodels

按照上述步骤，并参考命令示例，你可以在 Windows 上尽情体验 Ollama 的强大功能。不管是在命令行中直接下达指令，通过 API 将 AI 模型集成到你的软件当中，还是通过前端套壳，Ollama 的大门都已经为你敞开。

Ollama on Windows 的最佳实践

要让 Ollama 在 Windows 上充分发挥最大潜力，需要注意以下几点最佳实践和技巧，这将帮助你优化性能并解决一些常见问题：

Optimiser les performances d'Ollama :

• Vérifiez la configuration matérielle : assurez-vous que votre appareil répond à la configuration matérielle recommandée par Ollama, en particulier lors de l'exécution de grands modèles. Si vous disposez d'un GPU NVIDIA, vous pouvez également profiter de l'accélération matérielle automatique fournie par Ollama, qui améliore considérablement la vitesse de calcul.
• Mise à jour des pilotes : gardez les pilotes de votre carte graphique à jour pour garantir une compatibilité et des performances optimales avec Ollama.
• Libérez les ressources système : lorsque vous exécutez des modèles volumineux ou effectuez des tâches complexes, veuillez fermer les programmes inutiles pour libérer les ressources système.
• Choisissez le bon modèle : choisissez le bon modèle en fonction des exigences de la tâche. Même si les modèles à grands paramètres peuvent être plus précis, ils nécessitent également une puissance de calcul plus élevée. Pour des tâches simples, il est plus efficace d’utiliser des modèles à petits paramètres.

FAQ Ollama

Problèmes d'installation

• Assurez-vous que votre système Windows est à jour.
• Assurez-vous de disposer des autorisations nécessaires pour installer le logiciel.
• Essayez d'exécuter le programme d'installation en tant qu'administrateur.

Erreur de chargement du modèle

• Vérifiez si la commande saisie est correcte.
• Confirmez que le nom du modèle correspond au nom de la bibliothèque de modèles Ollama.
• Vérifiez la version et la mise à jour d'Ollama.

Problème de connexion à l'API Ollama

• Assurez-vous qu'Ollama est en cours d'exécution.
• Vérifiez l'adresse d'écoute et le port, surtout si le port est occupé par d'autres applications.

Dans ce didacticiel, nous avons appris comment installer et utiliser Ollama sous Windows, notamment l'installation d'Ollama, l'exécution de commandes de base, l'utilisation de la bibliothèque de modèles Ollama et la connexion à Ollama via l'API. Je vous recommande de vous plonger dans Ollama et d’essayer une variété de modèles différents.

Ollama a un potentiel illimité, et avec lui, vous pouvez réaliser plus de possibilités !

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!