Comment faire face à « l’épée à double tranchant » des grands modèles génératifs ? Le Zhejiang Lab publie un « Livre blanc sur la sécurité et la confidentialité des grands modèles génératifs »

Actuellement, les grands modèles génératifs ont apporté de profonds changements à la recherche universitaire et même à la vie sociale. Représentées par ChatGPT, les capacités des grands modèles génératifs ont montré la possibilité d'évoluer vers une intelligence artificielle générale. Mais dans le même temps, les chercheurs ont également commencé à se rendre compte que les grands modèles génératifs tels que ChatGPT sont confrontés à des risques de sécurité dans les données et les modèles.

Au début du mois de mai de cette année, la Maison Blanche américaine a organisé une réunion collective avec les PDG de sociétés d'IA telles que Google, Microsoft, OpenAI et Anthropic pour discuter de l'explosion de la technologie de génération d'IA, des risques cachés derrière cette technologie et comment développer des systèmes d’intelligence artificielle de manière responsable et élaborer des mesures réglementaires efficaces. La technologie nationale des grands modèles génératifs est également en cours de développement, mais en même temps, il est également nécessaire de procéder à une analyse correspondante des problèmes de sécurité afin d'adopter une approche à deux volets pour éviter les dangers cachés apportés par l'épée à double tranchant des modèles génératifs. grands modèles.

À cette fin, l'équipe d'intelligence artificielle et de sécurité du laboratoire de l'Institut de théorie fondamentale du Zhejiang a pour la première fois résumé de manière exhaustive les problèmes de sécurité et de confidentialité du grand modèle génératif représenté par ChatGPT dans un livre blanc, dans l'espoir de fournir des conseils au personnel technique engagé dans la recherche sur les questions de sécurité et fournir également une base aux décideurs politiques liés à l’IA.

Lien du livre blanc : https://github.com/xiaogang00/white-paper-for-large-model-security-and-privacy

Le développement et l'importance des grandes Models Application

Ce livre blanc résume d'abord l'historique de développement de grands modèles génératifs tels que ChatGPT et GPT4, ainsi que les diverses capacités étonnantes, les changements sociaux et les applications sociales qu'ils apportent. L'auteur répertorie les caractéristiques et les défauts de GPT-1, GPT-2, GPT-3, Google Bert et d'autres modèles avant l'émergence de ChatGPT et GPT4. Ces défauts contrastent avec les puissantes capacités de ChatGPT et GPT4 ; et GPT4 plus tard Un grand nombre de modèles ont émergé, dont LLaMa, Alpaca, Wen Xin Yi Yan, Tong Yi Qian Wen, etc. Leur émergence a conduit à l'émergence de modèles nouveaux et puissants dans des domaines d'application tels que l'interaction homme-machine, gestion des ressources, recherche scientifique et outils de création de contenu. Mais dans le même temps, des problèmes tels que la sécurité des données, les réglementations d’utilisation, l’éthique de confiance, les droits de propriété intellectuelle et la sécurité des modèles sont également apparus.

Problèmes de sécurité des données

Le livre blanc propose que la sécurité et la confidentialité des données soient une question extrêmement importante dans le processus d'utilisation et de développement de grands modèles génératifs tels que ChatGPT et GPT4, et elle est divisée en deux catégories : "explicite" et "implicite" l'a analysé.

Dans les fuites d'informations explicites, tout d'abord, les données de formation de grands modèles génératifs tels que ChatGPT sont converties par inadvertance en contenu généré, qui comprend des informations personnelles sensibles et privées telles que des numéros de compte de carte bancaire et des informations sur le cas. En outre, les risques liés à la sécurité des données et à la confidentialité de ChatGPT se reflètent également dans le stockage du contenu des boîtes de dialogue. Lorsque les utilisateurs interagissent avec ChatGPT, leurs informations sont enregistrées et stockées sous une forme ou une autre.

Le livre blanc soulève également la question des fuites d'informations implicites qui ont été ignorées par tout le monde auparavant. Tout d'abord, les risques en matière de sécurité des données et de confidentialité présentés par ChatGPT sont qu'il peut collecter des données de dialogue pour des recommandations publicitaires, ainsi que des données de dialogue pour des recommandations ou d'autres tâches d'apprentissage automatique en aval, et ChatGPT peut parfois générer de fausses informations pour inciter les utilisateurs à divulguer une série de données.

Problèmes de spécification d'utilisation

Dans le livre blanc, l'auteur a mentionné que bien que les puissantes capacités de compréhension et de génération des grands modèles génératifs tels que ChatGPT et GPT4 aient apporté beaucoup de commodité à nos vies et à notre production, il existe également d'autres possibilité d’être utilisé à des fins malveillantes. Sans contraintes réglementaires, les utilisations malveillantes entraîneront de nombreux problèmes sociaux.

Premièrement, les puissantes capacités de modèles tels que ChatGPT et GPT-4 incitent certaines personnes ayant des arrière-pensées à vouloir les utiliser comme outils pour des activités illégales. Par exemple, les utilisateurs peuvent utiliser ChatGPT pour rédiger des messages texte frauduleux et des e-mails de phishing, et même développer du code pour générer des logiciels malveillants et des ransomwares à la demande, sans aucune connaissance en codage ni expérience criminelle.

Deuxièmement, les grands modèles génératifs tels que ChatGPT et GPT4 ne prennent pas en compte les réglementations légales des différentes régions et peuvent enfreindre les lois et réglementations locales lors de l'utilisation et de la sortie, un système de surveillance local solide est donc nécessaire pour détecter si son utilisation est en conflit avec les lois et réglementations locales.

Troisièmement, pour certaines zones grises qui flottent entre sécurité et danger, les capacités de sécurité des grands modèles génératifs tels que ChatGPT n'ont pas été améliorées. Par exemple, ChatGPT peut générer certaines phrases induisantes, y compris lors de la communication avec des patients déprimés, il peut produire certaines phrases pour les amener à avoir une mentalité suicidaire.

Questions éthiques dignes de confiance

ChatGPT et d'autres grands modèles génératifs existent au niveau social sous forme de questions et réponses, mais leurs réponses sont souvent peu fiables, ou les bonnes questions ne peuvent pas être jugées, et il y aura de fausses réponses spécieuses. , et même les réponses aux questions actuelles ne sont pas fiables. Il y a un impact sur l’éthique sociale.

Le livre blanc souligne que tout d'abord, les réponses des grands modèles génératifs tels que ChatGPT peuvent être de sérieuses absurdités. Les déclarations sont fluides et semblent raisonnables, mais en fait elles sont complètement différentes. preuves pour la vérification de la crédibilité. Par exemple, ChatGPT peut répondre de manière incorrecte à certaines questions historiques, scientifiques, culturelles et autres ou contredire les faits, et peut même provoquer des erreurs ou des malentendus, obligeant les utilisateurs à disposer de leurs propres capacités d'identification.

Les enjeux éthiques des grands modèles génératifs tels que ChatGPT sont également abordés en détail dans le livre blanc. Même si des institutions de R&D telles qu'OpenAI ont utilisé ChatGPT elles-mêmes pour générer leurs codes éthiques, il n'a pas encore été déterminé si les codes éthiques sont conformes aux valeurs et principes fondamentaux des conditions nationales de notre pays. L'auteur souligne qu'il existe des problèmes tels que la propagation d'idéologies néfastes, la propagation des préjugés et de la haine, l'atteinte au politiquement correct, la atteinte à l'équité éducative, l'atteinte à l'équité sociale internationale, l'exacerbation du processus de remplacement des humains par les machines et la formation de cocons d'informations qui entravent la formation d'une éducation correcte. valeurs.

Problèmes de propriété intellectuelle

ChatGPT et d'autres grands modèles génératifs apportent du confort à tous les aspects de la société grâce à leurs puissantes capacités de traitement du langage et leurs faibles coûts d'utilisation. En même temps, ils ont également des problèmes de violation, qui ont un impact sur le. système de droit d’auteur existant. Par exemple, il peut y avoir des litiges en matière de droits d'auteur sur les œuvres générées par ChatGPT : bien que ChatGPT dispose d'excellentes capacités de traitement du langage, même si les œuvres générées répondent à toutes les exigences formelles des droits de propriété intellectuelle, ChatGPT ne peut pas devenir l'objet du droit d'auteur. le sujet du droit d'auteur jouit des droits et doit également assumer les responsabilités sociales correspondantes, et ChatGPT ne peut être utilisé que comme un puissant outil de productivité auxiliaire pour les utilisateurs. Il ne peut pas créer de manière indépendante, encore moins les principales exigences pour jouir des droits et remplir les obligations.

De plus, les grands modèles génératifs tels que ChatGPT sont toujours incapables de créer de manière indépendante, encore moins la capacité de penser de manière autonome et indépendante. Par conséquent, le contenu généré par ChatGPT sur la base des entrées des utilisateurs ne répond pas aux exigences « d'originalité » de. le travail. Les données utilisées par ChatGPT pour la formation des modèles proviennent d'Internet. Quel que soit le niveau d'avancement de l'algorithme de formation des modèles, il doit impliquer la référence, l'analyse et le traitement des réalisations intellectuelles existantes, et il doit y avoir un problème de violation des droits intellectuels légitimes d'autrui. droits de propriété.

Problèmes de sécurité des modèles

D'un point de vue technique, les grands modèles génératifs tels que ChatGPT ont également des problèmes de sécurité des modèles. ChatGPT est essentiellement un modèle génératif à grande échelle basé sur l'apprentissage en profondeur. Il est également confronté à de nombreuses menaces pour la sécurité de l'intelligence artificielle, notamment le vol de modèle et les erreurs de sortie causées par diverses attaques (telles que les attaques contradictoires, les attaques par porte dérobée, les attaques rapides et l'empoisonnement des données). . attendez).

Par exemple, le vol de modèle fait référence à l'attaquant qui s'appuie sur un nombre limité de requêtes de modèle pour obtenir un modèle local qui a les mêmes fonctions et effets que le modèle cible. ChatGPT a ouvert l'utilisation de l'API, qui offre une porte d'enquête en cas de vol de marque. Pour un autre exemple, ChatGPT et GPT4, en tant que système informatique distribué, doivent traiter les données d'entrée de toutes les parties, et après vérification par des organisations faisant autorité, ces données seront continuellement utilisées pour la formation. ChatGPT et GPT4 sont également confrontés à de plus grands risques d’empoisonnement des données. Les attaquants peuvent forcer ChatGPT et GPT4 à injecter des données incorrectes lors de l'interaction avec ChatGPT et GPT4, ou donner de faux commentaires à ChatGPT et GPT4 sous la forme de commentaires d'utilisateurs, réduisant ainsi les capacités de ChatGPT et GPT4, ou leur permettant d'ajouter des attaques de porte dérobée spéciales.

Suggestions de sécurité et de confidentialité

Enfin, le livre blanc fournit des suggestions correspondantes sur les questions de sécurité et de confidentialité, qui peuvent servir de référence aux futurs chercheurs techniques et décideurs politiques.

En termes de recommandations en matière de protection de la vie privée, le livre blanc propose de renforcer les restrictions d'identification et de diffusion d'informations privées hautement sensibles dans les données originales ; d'utiliser la confidentialité différentielle et d'autres technologies pour la protection de la vie privée pendant le processus de collecte de données ; et stocker les données de formation. Effectuer une protection de sécurité sous la forme de cryptage des données ; utiliser des technologies telles que le calcul multipartite sécurisé, le cryptage homomorphe et l'apprentissage fédéré pour protéger la confidentialité et la sécurité des données pendant le processus de formation du modèle ; système de certification de protection et de sécurité et protéger la confidentialité des applications en aval.

En termes de suggestions sur les questions de sécurité des modèles, le livre blanc propose une formation de modèles de détection des informations de sécurité et de confidentialité rendant différents modèles applicables aux dispositions légales de différents pays ; ; et Mener un entraînement défensif contre diverses attaques adverses.

Sur la question de la conformité du modèle, le livre blanc propose de mesurer la sortie fiable, d'évaluer la valeur de confiance et d'ajouter des fonctions de requête pour les informations de droit d'auteur générées par le modèle.

En résumé, le développement de grands modèles génératifs d'IA est indissociable de la sécurité, ses enjeux de sécurité seront donc le prochain point technique et méritent que de nombreux chercheurs soient surmontés. La sécurité est également la garantie de la stabilité sociale, et les départements concernés doivent formuler des politiques le plus rapidement possible.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!