IA locale avec l'API Chrome

Il est courant que la plupart des produits qui utilisent l'intelligence artificielle (IA) le fassent via la consommation d'une API, qui à son tour se connecte à un serveur pour renvoyer les résultats sur le Web. Cela a beaucoup de sens lorsque les tâches sont intenses et nécessitent beaucoup de puissance de traitement.

Mais existe-t-il une option plus efficace pour les tâches simples ?

L'équipe Chrome a lancé expérimentalement une API qui vous permet d'interagir localement avec le modèle Gemini Nano. Cela élimine le besoin d'utiliser des modèles plus grands, tels que le Gemini Pro 1.5, pour des tâches complexes.

Principales différences

1. Intégration locale : Il n'est pas nécessaire de déployer le modèle. Étant intégré directement au navigateur, il se charge de gérer les téléchargements, les mises à jour et les améliorations. Le développeur n'a plus qu'à se soucier de l'intégrer dans son application.

2. Efficacité du téléchargement : En ne nécessitant pas que l'application télécharge le modèle, l'efficacité est améliorée. Même les petits modèles, dans le contexte du Web, peuvent être de grande taille. Par exemple, le modèle transformer.js pèse environ 60 Mo.

3. Performances améliorées : Cette intégration locale permet d'accéder aux ressources de l'appareil, telles que le GPU, ce qui améliore considérablement les performances.

Avantages de l'exécution d'un modèle localement

• Enregistrement des appels vers le serveur : En évitant les requêtes constantes sur le serveur, l'application Web devient plus efficace, réduisant ainsi les temps d'attente.

• Confidentialité : les données restent sur l'appareil, ce qui ajoute une couche de sécurité supplémentaire en n'ayant pas besoin de les envoyer à des serveurs externes.

• Utilisation hors ligne : Une fois téléchargé, le modèle est disponible sur l'appareil, permettant de l'utiliser sans connexion Internet.

Architectures hybrides

Bien que le modèle local soit efficace, nous ne pouvons pas supprimer complètement le serveur. Cela sera encore nécessaire pour traiter des tâches plus complexes. La clé est de trouver le « sweet spot », c'est-à-dire le point optimal auquel il est déterminé quand utiliser un modèle local et quand recourir au serveur.

De plus, les modèles intégrés peuvent servir de sauvegarde en cas de panne de serveur ou d'absence de connexion internet.

Limites

Comme il s'agit d'un petit modèle et optimisé pour fonctionner dans le navigateur, il a une capacité plus limitée. Pour l’instant, son utilisation est recommandée pour des tâches spécifiques telles que des traductions, des résumés ou des améliorations de textes. Ces types de modèles sont appelés « Modèles experts », car ils sont plus efficaces pour des tâches spécifiques.

Rejoignez le programme expérimental

Si vous souhaitez essayer cette API, vous pouvez rejoindre le programme expérimental en remplissant le formulaire dans ce lien. Vous aurez accès à la documentation et à un groupe Google où vous pourrez rester informé des mises à jour et des modifications apportées à l'API.

Découvrez dans l'article suivant comment commencer à utiliser cette API et les fonctions disponibles.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!