Offload - Un SDK javascript unifié qui permet l'IA dans le navigateur

Aujourd'hui, je souhaite partager Offload, un SDK javascript pour exécuter l'IA directement sur le navigateur des utilisateurs.

Qu'est-ce que le déchargement ?

C'est un SDK que vous pouvez utiliser pour ajouter de l'IA à votre site Web mais avec une particularité : il permet à vos utilisateurs de exécuter des tâches d'IA localement, en conservant leurs données sur leurs appareils, évitant ainsi d'avoir à les envoyer à une API d'inférence tierce.

De plus, cela diminue vos coûts et permet à votre application d'évoluer à moindre coût. Plus l'inférence est déchargée sur les appareils des utilisateurs, moins vous devez allouer ou dépenser de ressources en API tierces.

Si vous êtes développeur d'applications, intégrer Offload ne fera qu'améliorer votre application, car elle continuera à fonctionner comme d'habitude tout en offrant à vos utilisateurs la possibilité de traiter leurs données localement, sans aucun effort de votre part.

Fonctionnalités de déchargement

Vous pouvez intégrer Offload en remplacement direct du SDK que vous utilisez actuellement, en modifiant simplement vos appels de fonction d'inférence.

Offload propose automatiquement** des modèles de différentes tailles à vos utilisateurs**, en fonction de l'appareil et de ses ressources. Si l'appareil de l'utilisateur ne dispose pas de suffisamment de ressources, Offload ne montrera pas à cet utilisateur la possibilité de traiter les données localement et reviendra à l'API que vous spécifiez via le tableau de bord.

Dans le tableau de bord, vous pouvez configurer et gérer les invites, les personnaliser et les tester pour les différents modèles, et obtenir des analyses des utilisateurs, et bien plus encore. Le tout sans exposer les données de vos utilisateurs à des tiers, car tout est traité sur l'appareil.

Offload prend en charge la génération de réponses textuelles, l'application d'objets de données structurés via des schémas JSON, la diffusion en continu de la réponse textuelle, et bien plus encore.

S'il y a autre chose que nous ne prenons pas en charge et que vous aimeriez voir, veuillez laisser un commentaire !

Pourquoi le déchargement est-il important ?

Je crois que l’IA locale est l’avenir. Cependant, à mesure que l’IA continue de progresser, je suis de plus en plus préoccupé par la manière dont nos données sont traitées.

Chaque application qui implémente aujourd'hui une fonctionnalité d'IA utilise une API distante, où elle envoie les données des utilisateurs. La plupart de ces applications utilisent des API publiques telles que OpenAI, Anthropic et autres. Le flux est simple : l'application collecte les données utilisateur et les envoie avec l'invite à l'API distante, qui répond avec le texte ou l'image généré.

Le gros problème de cette approche est que lorsque vous donnez à une application l'accès à un document (ou à une photo, une vidéo ou tout autre élément de données), elle envoie votre document à une API distante, qui peut inclure toute information sensible. contient. L'API distante enregistre probablement les invites, utilise les données pour entraîner de nouveaux modèles ou vend vos données à d'autres fins.

Je pense que le problème de la confidentialité des données est encore pire maintenant que nous avons les LLM. Les LLM permettent d'indexer d'énormes quantités d'informations non structurées de nouvelles manières qui n'étaient pas possibles auparavant, ce qui augmente le risque d'exposer des informations personnelles.

Par exemple, disons que vous avez un journal. Cela inclut probablement l'endroit où vous vivez, vos horaires, qui sont vos amis, où vous travaillez, peut-être combien vous gagnez, et bien plus encore. Même s'il n'est pas écrit directement, cela peut probablement être déduit du contenu du journal. Jusqu’à présent, pour déduire cette information, il fallait la lire entièrement. Cependant, avec les LLM, on pourrait obtenir suffisamment de données pour usurper votre identité en quelques secondes.

En utilisant une application pour discuter avec votre agenda, vous exposez potentiellement vos informations, car elles sont envoyées à une API.
D'un autre côté, si une telle application utilise Offload, vous pouvez l'utiliser en toute sécurité puisque vos données ne quittent pas votre appareil et ne peuvent donc pas être exposées.

Cela est particulièrement important dans les secteurs qui travaillent avec des données très sensibles, tels que les applications de santé, juridiques, de traitement de documents, les assistants personnels, etc.

Intégrez Offload dans votre application dès aujourd'hui !

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!