Avant la sortie de GPT-4, OpenAI a embauché des experts de divers secteurs pour effectuer des « tests contradictoires » afin d'éviter des problèmes tels que la discrimination.

Selon l'actualité du 17 avril, la start-up d'intelligence artificielle OpenAI a embauché des experts de tous horizons pour former une « armée bleue » avant de lancer le projet à grande échelle. modèle de langage GPT-4 L’équipe effectue des « tests contradictoires » pour déterminer les problèmes qui pourraient survenir avec le modèle. Les experts posent diverses questions exploratoires ou dangereuses pour tester la façon dont l'IA réagit ; OpenAI utilisera ces résultats pour recycler GPT-4 et résoudre les problèmes.

Après qu'Andrew White ait eu accès à GPT-4, le nouveau modèle derrière le chatbot d'intelligence artificielle, il l'a utilisé pour proposer un tout nouvel agent neurotoxique.

En tant que professeur de génie chimique à l'Université de Rochester, White était l'un des 50 universitaires et experts embauchés par OpenAI l'année dernière pour former l'équipe « Blue Army » d'OpenAI. Au cours d'une période de six mois, les membres de « l'Armée bleue » procéderont à une « détection qualitative et à des tests contradictoires » du nouveau modèle pour voir s'il peut briser le GPT-4.

White a déclaré qu'il avait utilisé GPT-4 pour proposer un composé qui pourrait être utilisé comme poison chimique, et qu'il avait également fait appel à diverses sources telles que des articles scientifiques et des noms de fabricants de produits chimiques pour fournir des informations sur le nouveau modèle de langage. . "Plug-in". Il s’avère que le chatbot IA a même trouvé un endroit pour fabriquer le poison chimique.

"Je pense que l'intelligence artificielle donnera à chacun les outils nécessaires pour réaliser des expériences chimiques plus rapidement et avec plus de précision", a déclaré White. "Mais il existe également un risque que les gens utilisent l'intelligence artificielle pour réaliser des expériences chimiques dangereuses. .. Cette situation existe désormais. "

L'introduction du "Blue Army Testing" permet à OpenAI de garantir que cette conséquence ne se produira pas lors de la sortie de GPT-4.

Le but du "Blue Force Test" est de dissiper les inquiétudes quant aux dangers liés au déploiement de puissants systèmes d'intelligence artificielle dans la société. Le travail de l’équipe « blue team » est de poser diverses questions pointues ou dangereuses et de tester la réaction de l’intelligence artificielle.

OpenAI veut savoir comment le nouveau modèle réagira aux problèmes graves. L’équipe des Bleus a donc testé les mensonges, la manipulation du langage et le dangereux bon sens scientifique. Ils ont également examiné le potentiel du nouveau modèle pour aider et encourager les activités illégales telles que le plagiat, la criminalité financière et les cyberattaques.

L'équipe GPT-4 « Blue Army » est issue de tous les horizons, notamment des universitaires, des enseignants, des avocats, des analystes des risques et des chercheurs en sécurité, travaillant principalement aux États-Unis et en Europe.

Ils ont transmis leurs découvertes à OpenAI, qui a utilisé les découvertes des membres de l'équipe pour recycler GPT-4 et résoudre les problèmes avant de publier publiquement GPT-4. Pendant plusieurs mois, les membres passent chacun 10 à 40 heures à tester de nouveaux modèles. De nombreuses personnes interrogées ont déclaré que leur salaire horaire était d'environ 100 dollars américains.

De nombreux membres de l'équipe « Blue Army » s'inquiètent du développement rapide de grands modèles de langage, et encore plus des risques liés à la connexion à des sources de connaissances externes via divers plug-ins.

"Maintenant, le système est gelé, ce qui signifie qu'il n'apprend plus et n'a plus de mémoire", a déclaré José, membre de la "Blue Team" GPT-4 et professeur à l'Institut de Valence de Intelligence artificielle · a déclaré José Hernández-Orallo. "Mais et si nous l'utilisions pour surfer sur Internet ? Cela pourrait être un système très puissant connecté au monde entier." Et comme de plus en plus de personnes utilisent GPT-4, OpenAI mettra régulièrement à jour le modèle.

Roya Pakzad, chercheuse en technologie et droits de l'homme, a utilisé des questions en anglais et en farsi pour vérifier si les modèles GPT-4 étaient biaisés en termes de sexe, de race et de religion.

Pakzad a découvert que même après la mise à jour, GPT-4 présentait des stéréotypes clairs sur les communautés marginalisées, même dans les versions ultérieures.

Elle a également constaté que lors du test du modèle avec des questions en farsi, « l'illusion » du chatbot d'inventer des informations pour répondre aux questions était plus sévère. Le robot a inventé plus de noms, de chiffres et d’événements en farsi qu’en anglais.

Pakzadeh a déclaré : "Je crains que la diversité linguistique et la culture derrière la langue ne soient en déclin."

Boru Gollo, un avocat basé à Nairobi), le seul testeur. d'Afrique, a également souligné le ton discriminatoire du nouveau modèle. "Quand je testais le modèle, c'était comme si un homme blanc me parlait", a déclaré Golo. "Si vous posez la question à un groupe spécifique, cela vous donnera une vision biaisée ou une réponse très biaisée." OpenAI a également admis que GPT-4 avait toujours des préjugés.

Les membres de « l'Armée bleue » qui évaluent le modèle du point de vue de la sécurité ont des points de vue différents sur la sécurité du nouveau modèle. Lauren Kahn, chercheuse au Council on Foreign Relations, a déclaré que lorsqu'elle a commencé à rechercher si cette technique pouvait potentiellement être utilisée dans des cyberattaques, elle "n'imaginait pas qu'elle serait si détaillée qu'elle pourrait être mise en œuvre avec précision". Kahn et d'autres testeurs ont cependant constaté que les réponses du nouveau modèle devenaient considérablement plus sûres au fil du temps. OpenAI a déclaré qu'avant la sortie de GPT-4, la société l'avait formé au rejet des demandes malveillantes de sécurité réseau.

De nombreux membres de « l'Armée bleue » ont déclaré qu'OpenAI avait mené une évaluation de sécurité rigoureuse avant sa sortie. Maarten Sap, expert en toxicité des modèles linguistiques à l'Université Carnegie Mellon, a déclaré : « Ils ont fait un très bon travail en éliminant la toxicité évidente dans le système.

Depuis le lancement de ChatGPT, OpenAI a également a été affecté par de nombreuses critiques, et une organisation d'éthique technologique s'est plainte auprès de la Federal Trade Commission (FTC) des États-Unis que GPT-4 est « partial, trompeur et constitue une menace pour la vie privée et la sécurité publique ».

Récemment, OpenAI a également lancé une fonctionnalité appelée plug-in ChatGPT, grâce à laquelle des applications partenaires telles qu'Expedia, OpenTable et Instacart peuvent donner à ChatGPT l'accès à leurs services, leur permettant ainsi de commander des biens au nom d'humains. utilisateurs.

Dan Hendrycks, un expert en sécurité de l'intelligence artificielle au sein de l'équipe « Blue Army », a déclaré que de tels plug-ins pourraient faire des humains eux-mêmes des « étrangers ».

"Que penseriez-vous si un chatbot pouvait publier vos informations privées en ligne, accéder à votre compte bancaire ou envoyer quelqu'un chez vous ?", a déclaré Hendricks. "Dans l'ensemble, nous avons besoin d'évaluations de sécurité plus solides avant de laisser l'IA prendre le contrôle du cyber-pouvoir." Heather Frase, qui travaille au Centre pour la sécurité et les technologies émergentes de l'Université de Georgetown, a également testé si GPT-4 pouvait favoriser un comportement criminel. Elle a déclaré que les risques continueront d’augmenter à mesure que de plus en plus de personnes utiliseront la technologie.

La raison pour laquelle vous effectuez des tests réels est qu'une fois utilisés dans un environnement réel, ils se comportent différemment, a-t-elle déclaré, elle estime que les systèmes publics devraient être développés pour signaler divers changements provoqués par de grands modèles de langage. Des incidents similaires liés à la cybersécurité ou aux systèmes de signalement des fraudes à la consommation. L'économiste et chercheuse Sara Kingsley a suggéré que la meilleure solution serait quelque chose comme ceci pour les emballages alimentaires : « La clé est d'avoir un cadre et de connaître quels sont les problèmes courants afin que vous puissiez avoir une soupape de sécurité. ", a-t-elle déclaré. « C’est pourquoi je dis que le travail n’est jamais terminé. »

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!