Meilleure, plus sûre et moins dépendante d'OpenAI, la nouvelle tendance IA de Microsoft lance l'outil de sécurité à grande échelle Azure AI

Compilé丨Yifeng

Produit | 51CTO Technology Stack (WeChat ID: blog51cto)

La demande d'IA générative (IA générative) augmente et les préoccupations concernant la sécurité et la fiabilité du LLM augmentent également. que jamais. Les entreprises veulent s'assurer que les modèles linguistiques à grande échelle (LLM) développés pour un usage interne et externe fournissent des résultats de haute qualité sans s'aventurer en territoire inexploré. Pour répondre à ce besoin, plusieurs aspects clés sont à considérer. Premièrement, l’interprétabilité du modèle LLM doit être améliorée afin qu’il puisse afficher de manière transparente la source et le processus de raisonnement logique de ses résultats générés. Cela aidera les utilisateurs à comprendre la qualité du résultat et à évaluer sa fiabilité. Deuxièmement, davantage d’outils et de techniques doivent être fournis pour vérifier et détecter l’exactitude et l’exactitude des résultats du LLM. Ces outils peuvent aider les utilisateurs à prendre conscience de ces préoccupations lorsqu'ils utilisent

Microsoft a reconnu ces préoccupations depuis longtemps, le modèle de Microsoft utilisant OpenAI ne peut appeler que des API et manque de contrôle sur les secrets de la boîte noire. Microsoft a récemment annoncé le lancement de nouveaux outils Azure AI pour aider à résoudre le problème des hallucinations des grands modèles, et peuvent également résoudre des vulnérabilités de sécurité telles que les attaques de saisie rapide, où les modèles sont attaqués pour générer du contenu portant atteinte à la vie privée ou autre contenu nuisible - tout comme Microsoft Own Le créateur d’images IA génère également des images deepfake de Taylor Swift.

Il est rapporté que l'outil de sécurité sera largement lancé dans les prochains mois, et le calendrier précis n'a pas encore été divulgué.

1.Que fait Azure AI pour la sécurité des grands modèles ?

Avec la popularité du LLM, le problème des attaques par injection rapide est devenu particulièrement important. Essentiellement, un attaquant peut modifier les invites de saisie d'un modèle de manière à contourner le fonctionnement normal du modèle, y compris les contrôles de sécurité, et le manipuler pour afficher du contenu personnel ou nuisible, compromettant ainsi la sécurité ou la confidentialité. Ces attaques peuvent être menées de deux manières : des attaques directes, où l'attaquant interagit directement avec LLM, ou des attaques indirectes, qui impliquent l'utilisation de sources de données tierces telles que des pages Web malveillantes.

Pour répondre aux deux formes d'injection rapide, Microsoft ajoute Prompt Shields à Azure AI. Il s'agit d'une fonctionnalité complète qui utilise des algorithmes avancés d'apprentissage automatique (ML) et le traitement du langage naturel pour analyser automatiquement les invites et les données tierces à la recherche d'intentions malveillantes et les empêcher d'atteindre le modèle.

Il sera intégré à trois produits associés de Microsoft : Service Azure OpenAI (NDLR : Azure OpenAI est un produit de service basé sur le cloud lancé par Microsoft, qui donne accès au puissant modèle de langage d'OpenAI. Azure Le principal avantage d'OpenAI est qu'il combine la technologie avancée d'OpenAI avec la sécurité et l'engagement au niveau de l'entreprise de Microsoft Azure), la sécurité du contenu Azure AI et Azure AI Studio.

En plus de ses efforts pour mettre fin aux attaques par injection rapide qui menacent la sécurité et la sûreté, Microsoft introduit également des outils axés sur la fiabilité des applications d'IA générative. Cela inclut des modèles de messages système Security Center prédéfinis et une nouvelle fonctionnalité appelée Groundedness Detection.

Comme Microsoft l'explique, les modèles de messages système Security Center permettent aux développeurs de créer des messages système qui guident le comportement du modèle vers une sortie sûre, responsable et basée sur les données. La détection de base utilise un modèle de langage personnalisé affiné pour détecter les artefacts ou les éléments inexacts dans la sortie texte produite par le modèle. Les deux seront disponibles dans les produits Azure AI Studio et Azure OpenAI.

Il est à noter que la détection d'indicateurs fondamentaux s'accompagnera également d'évaluations automatisées pour tester sous contrainte les risques et la sécurité des applications d'IA générative. Ces mesures mesureront la probabilité qu'une application soit jailbreakée et produise un contenu inapproprié. L'évaluation comprendra également des explications en langage naturel pour guider les développeurs sur la manière de créer des mesures d'atténuation appropriées pour résoudre les problèmes.

« Aujourd'hui, de nombreuses organisations manquent de ressources pour tester leurs applications d'IA générative afin de pouvoir passer en toute confiance des prototypes à l'adoption sur le marché. Premièrement, il peut être nécessaire de créer un ensemble de données de test de haute qualité qui reflète l'ampleur des risques émergents. réalisables avec des attaques difficiles, telles que les attaques de jailbreak, même avec des données de haute qualité, l'évaluation peut être un processus complexe et manuel, et les équipes de développement peuvent avoir du mal à interpréter les résultats pour éclairer des mesures d'atténuation efficaces », a déclaré Sarah, directrice des produits pour la sécurité. L'IA chez Microsoft a noté Bird dans un article de blog.

2. Azure AI « surveillera » les grands modèles en temps réel

Pendant l'utilisation réelle d'Azure AI, Microsoft fournira une surveillance en temps réel pour aider les développeurs à prêter une attention particulière aux entrées et sorties qui déclenchent les fonctionnalités de sécurité (telles que comme bouclier d'invite). Cette fonctionnalité, qui est intégrée au service Azure OpenAI et aux produits AI Studio, générera des visualisations détaillées qui mettent en évidence le nombre et la proportion d'entrées utilisateur/sorties de modèle bloquées, ainsi qu'une répartition par gravité/catégorie.

Grâce à cette surveillance visuelle en temps réel, les développeurs peuvent comprendre les tendances des demandes nuisibles au fil du temps et ajuster leurs configurations de filtre de contenu, leurs contrôles et la conception plus large de leurs applications pour améliorer la sécurité.

Microsoft travaille depuis longtemps à l'amélioration de ses produits d'IA. Auparavant, le PDG de Microsoft, Satya Nadella, avait souligné dans une interview que Microsoft n'était pas entièrement dépendant d'OpenAI, mais qu'il développait également ses propres projets d'IA et aidait OpenAI à construire ses produits : « Je suis très préoccupé par notre situation actuelle. Je suis très satisfait de la Je pense aussi que cela nous aide à contrôler le destin de nos entreprises respectives. "

a changé le paysage du "All in OpenAI", et Microsoft utilise également de grands modèles dont Mistral. Récemment, la nouvelle équipe Microsoft AI, Microsoft AI, a effectué des changements fréquents et a même embauché Mustafa Suleyman et son équipe d'Inflection AI. Cela semble être un moyen de réduire la dépendance à l'égard de Sam Altman et d'OpenAI.

Maintenant, l'ajout de ces nouveaux outils de sécurité et de fiabilité s'appuie sur le travail déjà effectué par l'entreprise, offrant aux développeurs un moyen meilleur et plus sécurisé de créer des modèles génératifs en plus des modèles qu'elle fournit.

Lien de référence : https://venturebeat.com/ai/microsoft-launches-new-azure-ai-tools-to-cut-out-llm-safety-and-reliability-risks/

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!