可识别AI生成的科学文本的新型检测工具问世，号称准确率超99%

IT之家 6 月 8 日消息，今年早些时候美国田纳西州健康科学中心的放射学家 Som Biswas 引起关注，因为他在《放射学》杂志上发表了一篇由人工智能聊天机器人 ChatGPT 协助写作的文章，题为《ChatGPT 与医学写作的未来》。他表达了他使用和修改了ChatGPT生成的文本，旨在提高人们对该技术实用性的认识。据他透露，他在接下来的四个月内使用 ChatGPT 发表了 16 篇期刊文章。一些期刊编辑反映，他们收到了大量由 ChatGPT 写作的文章。

为了应对这种情况，堪萨斯大学的化学教授 Heather Desaire 和她的团队开发了一种新的 AI 检测工具，可以高效准确地区分科学文本是由人类还是 ChatGPT 生成的，他们的研究结果发表在《细胞报告物理科学》杂志上。

Desaire 教授说，她和她的团队首先分析了 64 篇《科学》杂志上的“观点”文章，这些文章是对当前研究进行评论和评价的综述性文章。接着，他们对 ChatGPT 生成的 128 篇关于同一研究主题的文章进行了分析。他们比较了两个东西，找出了20个特征，这些特征可以用来确定科学文本作者的身份。

他们发现，人类科学家和 ChatGPT 在段落复杂度、句子长度、标点符号和词汇使用等方面有明显不同。相比于括号、破折号、问号、分号和大写字母等符号，ChatGPT 并不经常使用它们，而人类科学家则更多地使用它们。人类科学家更倾向于使用表达含糊的语言，例如“然而”、“尽管”、“但是”等。ChatGPT tends to have a relatively even distribution of sentence length, while human scientists may use both short and long sentences in their writing.。

基于这 20 个特征，他们使用了一种现成的机器学习算法 XGBoost 来训练他们的 AI 检测工具，他们测试了他们的 AI 检测工具在 180 篇文章上的表现，发现其非常擅长判断一篇科学文章是由人类还是 ChatGPT 写作的。“这种方法有超过 99% 的准确率”，Desaire 教授说，并补充说这比现有的工具要好得多，因为现有的工具是在更广泛的文本类型上进行训练的，而不是专门针对科学文本的。

Desaire 教授说，这种 AI 检测工具可以帮助期刊编辑处理大量使用 ChatGPT 写作的文章，可以让他们优先考虑哪些文章值得送审。她还说，这种工具可以根据不同的领域进行调整，比如用来检测学生的剽窃行为，只要在适合的语言上进行训练就行。只要你明确了有用的特征，就可以为你想要的任何领域改造它。”

IT之家注意到，并非所有人都觉得这种AI检测工具有很大的用途。南澳大利亚大学变化与复杂性学习中心（C3L）的 Vitomir Kovanović博士说，Desaire 教授和她的团队所做的比较是不现实的，因为他们只比较了 100% 由 AI 生成和 100% 由人类生成的文本，而没有考虑到人类和 AI 之间的协作。他说，当科学家使用 ChatGPT 时，往往会有一定程度的人机合作，比如科学家会编辑 AI 生成的文本。重写后的句子： 这是必要的，因为 ChatGPT 偶尔会出现错误，甚至会生成虚假的参考文献。但是由于研究者只比较了两种极端情况，他们的成功率就被提高了。

阿德莱德大学机器学习研究所的 Lingqiao Liu 博士也认为，在真实世界中，这种 AI 检测工具的准确率可能会降低，导致更多的错误分类。Liu 博士是一位开发算法来检测 AI 生成图像的专家，他说：“从方法论上讲，这没问题，但使用它有一定风险。”

另一方面，Liu 博士指出，人们也有可能指示 ChatGPT 以特定的方式写作，从而让 100% 由 AI 写作的文本通过检测。事实上，一些评论员甚至谈到了一个“军备竞赛”，指的是那些试图让机器更像人类和那些试图揭露那些出于恶意目的使用这项技术的人之间的竞争。

Kovanović博士认为这场比赛毫无意义，因为这项技术的发展势头强劲且有潜在的积极影响。他建议，AI检测还未达到关键点，因此我们应该将精力投入到更好地利用AI上。他反对使用反抄袭软件来衡量大学生是否使用了 AI 写作，并认为这会给学生带来不必要的压力。

以上是可识别AI生成的科学文本的新型检测工具问世，号称准确率超99%的详细内容。更多信息请关注PHP中文网其他相关文章！