Les chercheurs découvrent qu'une grande partie du code généré par ChatGPT n'est pas sécurisé, mais il ne vous le dira pas

Nouveauté du 23 avril, le chatbot ChatGPT peut générer une variété de textes, y compris du code, en fonction des saisies de l'utilisateur. Cependant, quatre chercheurs de l'Université du Québec au Canada ont découvert que le code généré par ChatGPT présente souvent de graves problèmes de sécurité, qu'il n'alerte pas de manière proactive les utilisateurs de ces problèmes et n'admettra ses erreurs que lorsque les utilisateurs le demanderont.

Les chercheurs ont présenté leurs conclusions dans un article. IT House a examiné l'article et a découvert qu'ils avaient demandé à ChatGPT de générer 21 programmes et scripts impliquant des langages tels que C, C++, Python et Java. Ces programmes et scripts sont conçus pour démontrer des vulnérabilités de sécurité spécifiques, telles que la corruption de la mémoire, le déni de service, la désérialisation et les vulnérabilités de mise en œuvre du chiffrement. Les résultats ont montré que seuls 5 programmes sur 21 générés par ChatGPT étaient sûrs du premier coup. Après avoir été invité à corriger ses étapes erronées, le grand modèle de langage a réussi à générer 7 applications plus sécurisées, même si cela n'était "sûr" que par rapport à la vulnérabilité spécifique évaluée, pour ne pas dire que le code final n'avait rien d'autre. cela pourrait être fait.

Les chercheurs ont souligné qu'une partie du problème avec ChatGPT est qu'il ne prend pas en compte les modèles d'exécution de code contradictoires. Il indiquera à plusieurs reprises aux utilisateurs que les problèmes de sécurité peuvent être évités en « ne saisissant pas de données invalides », mais cela n'est pas réalisable dans le monde réel. Cependant, il semble être conscient et admettre des vulnérabilités critiques dans le code proposé.

Raphaël Khoury, professeur d'informatique et d'ingénierie à l'Université du Québec et l'un des co-auteurs de l'article, a déclaré à The Register : « Évidemment, ce n'est qu'un algorithme. Il ne sait rien, mais il peut identifier les comportements dangereux. " Il a déclaré qu'au départ, la réponse de ChatGPT au problème de sécurité était de recommander d'utiliser uniquement des entrées valides, ce qui était clairement déraisonnable. Il ne fournit des conseils utiles que lorsqu'on lui demande ultérieurement d'améliorer le problème.

Les chercheurs estiment que ce comportement de ChatGPT n'est pas souhaitable, car les utilisateurs sachant quelles questions poser nécessitent une certaine connaissance de vulnérabilités spécifiques et de techniques de codage.

Les chercheurs ont également souligné qu'il existe des incohérences éthiques dans ChatGPT. Cela refusera la création de code attaquant, mais créera du code vulnérable. Ils ont donné un exemple de vulnérabilité de désérialisation Java : « Le chatbot a généré du code vulnérable et a fourni des suggestions sur la façon de le rendre plus sécurisé, mais a déclaré qu'il ne pouvait pas créer une version plus sécurisée du code. »

Khoury pense que ChatGPT est un. risque sous sa forme actuelle, mais cela ne veut pas dire qu’il n’existe pas de moyens judicieux d’utiliser cet assistant IA instable et sous-performant. "Nous avons vu des étudiants utiliser cet outil, et des programmeurs utilisent cet outil dans la vie réelle", a-t-il déclaré. "Il est donc très dangereux d'avoir un outil qui génère du code dangereux. Nous devons faire prendre conscience aux étudiants que si le code est généré avec ce type d'outil, alors il est susceptible d'être dangereux. " Il a également déclaré qu'il était surpris que lorsqu'ils demandaient à ChatGPT de générer du code pour la même tâche dans différentes langues, parfois pour une langue, il générerait du code sécurisé, et pour un autre langage, cela générera du code vulnérable. « Parce que ce modèle de langage est un peu comme une boîte noire, je n'ai pas vraiment de bonne explication ou théorie à ce sujet. »

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!