Un nouvel outil de détection capable d'identifier les textes scientifiques générés par l'IA est lancé, affirmant un taux de précision de plus de 99 %

IT House News du 8 juin : Plus tôt cette année, Som Biswas, radiologue au Tennessee Health Science Center aux États-Unis, a attiré l'attention parce qu'il a publié un article dans la revue Radiology assisté par le chatbot d'intelligence artificielle ChatGPT. ChatGPT et l'avenir de la rédaction médicale." Il a exprimé son utilisation et sa modification du texte généré par ChatGPT dans le but de sensibiliser à l'utilité de la technologie. Selon lui, il a publié 16 articles de revues en utilisant ChatGPT au cours des quatre mois suivants. Certains éditeurs de revues signalent qu'ils reçoivent un grand nombre d'articles rédigés par ChatGPT.

Afin de faire face à cette situation, Heather Desaire, professeur de chimie à l'Université du Kansas, et son équipe ont développé un nouvel outil de détection d'IA capable de distinguer efficacement et précisément si les textes scientifiques sont générés par des humains ou par ChatGPT. ont été publiés dans "Cell Reports" dans la revue Physical Science.

La professeure Desaire a déclaré qu'elle et son équipe ont d'abord analysé 64 articles « Perspectives » dans la revue Science, qui sont des articles de synthèse qui examinent et évaluent les recherches actuelles. Ensuite, ils ont analysé 128 articles générés par ChatGPT sur le même sujet de recherche. Ils ont comparé les deux et ont trouvé 20 caractéristiques qui pourraient être utilisées pour déterminer l’identité de l’auteur d’un texte scientifique.

Ils ont constaté qu'il existait des différences significatives entre les scientifiques humains et ChatGPT en termes de complexité des paragraphes, de longueur des phrases, de ponctuation et d'utilisation du vocabulaire. Par rapport aux symboles tels que les crochets, les tirets, les points d'interrogation, les points-virgules et les majuscules, ChatGPT les utilise moins souvent, tandis que les scientifiques les utilisent davantage. Les scientifiques sont plus susceptibles d’utiliser un langage vague tel que « cependant », « bien que », « mais », etc. ChatGPT a tendance à avoir une répartition relativement uniforme de la longueur des phrases, tandis que les scientifiques humains peuvent utiliser à la fois des phrases courtes et longues dans leurs écrits.

Sur la base de ces 20 fonctionnalités, ils ont utilisé un algorithme d'apprentissage automatique prêt à l'emploi XGBoost pour entraîner leur outil de détection d'IA. Ils ont testé les performances de leur outil de détection d'IA sur 180 articles et ont constaté qu'il était très efficace pour juger un article scientifique. l'article a été rédigé par un humain ou ChatGPT. "Cette méthode a une précision de plus de 99 %", a déclaré le professeur Desaire, ajoutant qu'elle était bien meilleure que les outils existants qui sont formés sur un plus large éventail de types de textes plutôt que spécifiquement pour les textes scientifiques.

Le professeur Desaire a déclaré que cet outil de détection d'IA peut aider les éditeurs de revues à traiter un grand nombre d'articles rédigés à l'aide de ChatGPT, leur permettant ainsi de hiérarchiser les articles qui méritent d'être examinés. Elle a ajouté que l'outil pourrait être adapté à différents domaines, comme la détection du plagiat chez les étudiants, à condition qu'il soit formé dans la langue appropriée. Une fois que vous avez identifié les fonctionnalités utiles, vous pouvez l'adapter à n'importe quel domaine de votre choix. »

IT House a remarqué que tout le monde ne pense pas que cet outil de détection d'IA est d'une grande utilité. Le Dr Vitomir Kovanović du Centre pour le changement et l'apprentissage de la complexité (C3L) de l'Université d'Australie du Sud a déclaré que la comparaison faite par le professeur Desaire et son équipe était irréaliste car ils comparaient uniquement des textes 100 % générés par l'IA et 100 % générés par l'homme, sans prendre en compte en compte la collaboration entre les humains et l’IA. Il a déclaré que lorsque les scientifiques utilisent ChatGPT, il existe souvent un certain degré de collaboration homme-machine, par exemple lorsque le scientifique édite le texte généré par l'IA. Phrase réécrite : Ceci est nécessaire car ChatGPT peut occasionnellement commettre des erreurs et même générer de fausses références. Mais comme les chercheurs n’ont comparé que deux cas extrêmes, leur taux de réussite s’est amélioré.

Le Dr Lingqiao Liu, de l'Institut d'apprentissage automatique de l'Université d'Adélaïde, estime également que dans le monde réel, la précision de ces outils de détection d'IA peut être réduite, entraînant davantage d'erreurs de classification. Le Dr Liu, un expert en développement d'algorithmes pour détecter les images générées par l'IA, a déclaré : « Méthodologiquement, c'est OK, mais son utilisation comporte certains risques

. »

D'un autre côté, le Dr Liu a souligné qu'il est également possible pour les gens de demander à ChatGPT d'écrire d'une manière spécifique, de sorte que 100 % du texte écrit par l'IA passe la détection. En fait, certains commentateurs ont même parlé de « course aux armements », faisant référence à la concurrence entre ceux qui tentent de rendre les machines plus humaines et ceux qui cherchent à dénoncer ceux qui utilisent la technologie à des fins néfastes.

Le Dr Kovanović estime que le concours est inutile en raison de l'élan et de l'impact positif potentiel de cette technologie. Il a suggéré que la détection de l’IA n’a pas encore atteint un point critique et que nous devrions donc investir notre énergie dans une meilleure utilisation de l’IA. Il s’oppose à l’utilisation de logiciels anti-plagiat pour mesurer si les étudiants utilisent l’IA dans leurs écrits, arguant que cela exercerait une pression inutile sur les étudiants.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!