資深專家也無法準確分辨 ChatGPT 撰寫的科學論文

1 月14 日訊息，美國科普雜誌《科學美國人》（Scientific American）今天發布文章文章，表示由ChatGPT撰寫的科學論文具備非常高的學術性，以至於資深的科學家也無法分辨。

在12 月下旬發表在  bioRxiv 伺服器上的預印論文中寫道，人工智慧(AI) 聊天機器人已經具備撰寫令人信服的虛假研究論文，以至於科學家們在不仔細甄別的情況下也無法分辨。

英國牛津大學研究技術和監管的 Sandra Wachter 表示：「我對此非常擔心。如果連專家都無法甄別論文的真假，那麼就會影響我們的研究基石」。

IT之家小教室：聊天機器人 ChatGPT 會根據使用者提示創建逼真且聽起來很聰明的文字。它是一種“大型語言模型”，一種基於神經網路的系統，透過消化大量現有的人類生成的文本來學習執行任務。位於加州舊金山的軟體公司 OpenAI 於 11 月 30 日發布了該工具，並且可以免費使用。

由伊利諾伊州芝加哥市西北大學的 Catherine Gao 領導的小組使用 ChatGPT 產生人工研究論文摘要，以測試科學家是否可以發現它們。研究人員要求聊天機器人根據發表在《美國醫學會雜誌》（JAMA）、《新英格蘭醫學雜誌》（The New England Journal of Medicine）、《英國醫學雜誌》（The BMJ）、《柳葉刀》（The Lancet ）和《自然醫學》（Nature Medicine）上的選集撰寫50 篇醫學研究摘要。

然後，他們透過剽竊偵測器和 AI 輸出偵測器將這些摘要與原始摘要進行比較，並要求一組醫學研究人員找出捏造的摘要。

ChatGPT 產生的摘要順利通過了剽竊檢查器（plagiarism checker）：原創得分中位數為 100%，這表明沒有檢測到剽竊。

AI 輸出偵測器發現了 66% 的生成摘要，而人工審核僅正確識別了 68% 的生成摘要和 86% 的真實摘要。專家錯誤地將 32% 的生成摘要識別為真實摘要，將 14% 的真實摘要識別為產生的。

以上是資深專家也無法準確分辨 ChatGPT 撰寫的科學論文的詳細內容。更多資訊請關注PHP中文網其他相關文章！