首頁  >  文章  >  科技週邊  >  ChatGPT「剋星」:用AI辨識AI產生的文本,英文論文閱讀筆記都能測出

ChatGPT「剋星」:用AI辨識AI產生的文本,英文論文閱讀筆記都能測出

王林
王林轉載
2023-04-29 11:25:061856瀏覽

ChatGPT的出現,讓不少人看到了交期末大作業的曙光(手動狗頭)。

無論是英文論文還是閱讀筆記,只要在ChatGPT的知識範圍內,都可以拜託它幫忙完成,寫出來的內容也有理有據。

不過,有沒有想過你的老師也準備用「AI文字偵測器」一類的東西來防止你作弊?

像這樣輸入一段看起來沒毛病的筆記,經過它一番檢測,認為這段文字「由AI編寫」(Fake)的可能性為99.98%!

ChatGPT「剋星」:用AI辨識AI產生的文本,英文論文閱讀筆記都能測出

△文本由ChatGPT產生

換個數學論文試試看? ChatGPT的輸出看起來沒啥問題,卻仍然被它準確識破了:

ChatGPT「剋星」:用AI辨識AI產生的文本,英文論文閱讀筆記都能測出

#△文本由ChatGPT生成

這可不是靠瞎蒙或猜測,畢竟對方同樣是個AI,還是個訓練有素的AI。

看到這有網友調侃:用魔法打敗魔法?

ChatGPT「剋星」:用AI辨識AI產生的文本,英文論文閱讀筆記都能測出

用AI寫的東西來訓練新AI

這個AI檢測器名叫GPT-2 Output Detector,是OpenAI聯合哈佛大學等大學和機構一起打造的。 (沒錯,OpenAI自家做的)

ChatGPT「剋星」:用AI辨識AI產生的文本,英文論文閱讀筆記都能測出

輸入50個以上字元(tokens)就能較精確地辨識AI產生的文字。

但即使是專門偵測GPT-2的模型,用來偵測其他AI生成文字效果也同樣不錯。

作者們先發布了一個「GPT-2生成內容」和WebText(專門從國外貼吧Reddit上扒下來的)資料集,讓AI理解「AI語言」和「人話」之間的差異。

隨後,用這個資料集對RoBERTa模型進行微調,就得到了這個AI偵測器。

RoBERTa(Robustly Optimized BERT approach)是BERT的改良版。原始的BERT使用了13GB大小的資料集,但RoBERTa使用了包含6300萬條英文新聞的160GB資料集。

其中,人話一律被辨識為True,AI產生的內容則一律被辨識為Fake。

例如這是一段從Medium英文部落格複製的內容。從辨識結果來看,很顯然作者是親自寫的(手動狗頭):

ChatGPT「剋星」:用AI辨識AI產生的文本,英文論文閱讀筆記都能測出

#△文字來源Medium@Megan Ng

當然,這個檢測器也並非100%準確。

AI模型參數量越大,產生的內容越不容易被識別,例如1.24億參數量的模型「被抓包」的機率就比15億參數更高。

同時,模型產生結果隨機性越高,AI生成內容被偵測出來的機率也會更低。

但即便將模型調整到生成隨機性最高(Temperature=1,越接近0生成隨機性越低),1.24億參數模型被檢測出的機率仍然是88%,15億參數模型被檢測出的機率仍然有74%。

這是OpenAI兩年前發布的模型,當時GPT-2生成的內容就「一打一個準」。

現在面對升級版的ChatGPT,偵測英文生成內容的效果依舊能打。

但面對ChatGPT產生的中文,它的辨識能力就沒那麼好了。例如讓ChatGPT來一段作文:

ChatGPT「剋星」:用AI辨識AI產生的文本,英文論文閱讀筆記都能測出

AI檢測器給出是人寫的機率為99.96%…

ChatGPT「剋星」:用AI辨識AI產生的文本,英文論文閱讀筆記都能測出

當然話說回來,ChatGPT也能偵測自己產生的文字。

所以,不排除老師將你的作業直接交給ChatGPT來識別:

ChatGPT「剋星」:用AI辨識AI產生的文本,英文論文閱讀筆記都能測出

#One More Thing

值得一提的是,ChatGPT表示自己並不能上網搜尋資訊。

顯然,它也意識不到GPT-2 Output Detector這個AI檢測器的存在:

ChatGPT「剋星」:用AI辨識AI產生的文本,英文論文閱讀筆記都能測出

所以能不能像網友所說,讓ChatGPT產生一段「不被AI偵測器測出來的」內容呢?

ChatGPT「剋星」:用AI辨識AI產生的文本,英文論文閱讀筆記都能測出

很遺憾不能:

ChatGPT「剋星」:用AI辨識AI產生的文本,英文論文閱讀筆記都能測出

#所以大作業還是自己寫吧…

參考連結:[1]https://weibo.com/1402400261/Mj7QtwRoH[2]https://github.com/openai/gpt-2-output-dataset/tree/master/detector[3] https://chat.openai.com/

[4]https://medium.com/user-experience-design-1/how-chatgpt-is-blowing-google- out-of-the-water-a-ux-breakdown-784340c25d57

以上是ChatGPT「剋星」:用AI辨識AI產生的文本,英文論文閱讀筆記都能測出的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述:
本文轉載於:51cto.com。如有侵權,請聯絡admin@php.cn刪除