可辨識AI產生的科學文本的新型檢測工具問世，號稱準確率超99%

IT之家6 月8 日消息，今年早些時候美國田納西州健康科學中心的放射學家Som Biswas 引起關注，因為他在《放射學》雜誌上發表了一篇由人工智慧聊天機器人ChatGPT協助寫作的文章，題為《ChatGPT 與醫學寫作的未來》。他表達了他使用和修改了ChatGPT產生的文本，旨在提高人們對該技術實用性的認識。據他透露，他在接下來的四個月內使用 ChatGPT 發表了 16 篇期刊文章。一些期刊編輯反映，他們收到了大量由 ChatGPT 寫作的文章。

為了應對這種情況，堪薩斯大學的化學教授Heather Desaire 和她的團隊開發了一種新的AI 檢測工具，可以高效準確地區分科學文本是由人類還是ChatGPT 生成的，他們的研究結果發表在《細胞報告物理科學》雜誌。

Desaire 教授說，她和她的團隊首先分析了 64 篇《科學》雜誌上的「觀點」文章，這些文章是對當前研究進行評論和評價的綜述性文章。接著，他們對 ChatGPT 產生的 128 篇關於同一研究主題的文章進行了分析。他們比較了兩個東西，找出了20個特徵，這些特徵可以用來確定科學文本作者的身份。

他們發現，人類科學家和 ChatGPT 在段落複雜度、句子長度、標點符號和詞彙使用等方面有明顯不同。相較於括號、破折號、問號、分號和大寫字母等符號，ChatGPT 並不經常使用它們，而人類科學家則更多地使用它們。人類科學家更傾向於使用表達含糊的語言，例如「然而」、「儘管」、「但是」等。 ChatGPT tends to have a relatively even distribution of sentence length, while human scientists may use both short and long sentences in their writing.。

基於這20 個特徵，他們使用了現成的機器學習演算法XGBoost 來訓練他們的AI 檢測工具，他們測試了他們的AI 檢測工具在180 篇文章上的表現，發現其非常擅長判斷一科學文章是由人類還是ChatGPT 所寫的。 “這種方法有超過99% 的準確率”，Desaire 教授說，並補充說這比現有的工具要好得多，因為現有的工具是在更廣泛的文本類型上進行訓練的，而不是專門針對科學文本的。

Desaire 教授說，這種 AI 檢測工具可以幫助期刊編輯處理大量使用 ChatGPT 寫作的文章，可以讓他們優先考慮哪些文章值得送審。她也說，這種工具可以根據不同的領域進行調整，例如用來偵測學生的剽竊行為，只要在適合的語言上訓練就好。只要你明確了有用的特徵，就可以為你想要的任何領域改造它。 ”

IT之家注意到，並非所有人都覺得這種AI檢測工具有很大的用途。南澳大利亞大學變化與複雜性學習中心（C3L）的Vitomir Kovanović博士說，Desaire 教授和她的團隊所做的比較是不現實的，因為他們只比較了100% 由AI 生成和100% 由人類生成的文本，而沒有考慮到人類和AI 之間的協作。他說，當科學家使用 ChatGPT 時，往往會有一定程度的人機合作，例如科學家會編輯 AI 產生的文字。重寫後的句子： 這是必要的，因為 ChatGPT 偶爾會出現錯誤，甚至會產生虛假的參考文獻。但是由於研究者只比較了兩種極端情況，他們的成功率就提高了。

阿德萊德大學機器學習研究所的 Lingqiao Liu 博士也認為，在真實世界中，這種 AI 檢測工具的準確率可能會降低，導致更多的錯誤分類。 Liu 博士是一位開發演算法來偵測 AI 生成影像的專家，他說：「從方法論上講，這沒問題，但使用它有一定風險。」

另一方面，Liu 博士指出，人們也有可能指示 ChatGPT 以特定的方式寫作，讓 100% 由 AI 寫作的文本通過檢測。事實上，一些評論員甚至談到了一個“軍備競賽”，指的是那些試圖讓機器更像人類和那些試圖揭露那些出於惡意目的使用這項技術的人之間的競爭。

Kovanović博士認為這場比賽毫無意義，因為這項技術的發展勢頭強勁且有潛在的正面影響。他建議，AI檢測還未達到關鍵點，因此我們應該將精力投入更好地利用AI。他反對使用反抄襲軟體來衡量大學生是否使用了 AI 寫作，並認為這會給學生帶來不必要的壓力。

以上是可辨識AI產生的科學文本的新型檢測工具問世，號稱準確率超99%的詳細內容。更多資訊請關注PHP中文網其他相關文章！