離譜！美國教授用ChatGPT「證實」論文抄襲，半個班學生慘遭掛科

離了個大譜！

辛辛苦苦碼出的畢業論文，居然被教授拿去放在ChatGPT裡檢測，然後就被判定為抄襲？

教授因此掛掉了全班一半的人，然後學校還因此拒發畢業證？

教授：被ChatGPT認領的，都得0分

#最近，在德州農工大學（Texas A&M），發生了這樣一件令人哭笑不得的事。

為了偵測學生提交的論文是否作弊，一位名叫Jared Mumm的教授把他們的論文提交給了ChatGPT。

他對學生說：我會把你們的論文複製貼上到ChatGPT中，它會告訴我，你們的論文是不是它生成的。

「我會在兩個不同的時間段裡，把每個人的最後三篇論文放進去，如果這兩次它們都被ChatGTP認領了，我就會給你0分。」

顯然，沒有任何電腦相關背景知識的Mumm教授，對ChatGPT的原理一竅不通。

實際上，ChatGPT並不能辨識由AI創建的內容，即使是它自己寫的都不行。

甚至，他連ChatGPT都沒拼對——直接寫成了「Chat GPT」以及「chat GPT」。

結果，全班有一多半人的論文被ChatGPT不負責任地「認領」，因而掛了這一科。

更倒楣的是，大多數已畢業學生的文憑，因此直接被學校拒發了。

當然，Mumm教授也不是毫不留情，他為全班同學提供了重做作業的機會。

如何證明自己沒用ChatGPT？

#收到上面這封郵件後，幾位學生寫信給Mumm力證自己的清白。他們提供了帶有時間戳記的Google Docs，來證明自己並沒有使用ChatGPT。

但Mumm教授直接無視了這些電子郵件，只在幾個學生的評分軟體中留下了這樣的回應——我不給AI生成的狗屎評分。

不過，還是有學生「平反」了，據說，已經有一名學生被「無罪釋放」，並且得到了Mumm的道歉。

然而，讓情況更複雜的事，有兩名學生「挺身而出」，承認自己的確在本學期使用過ChatGPT。

這一下子就讓其他沒有用ChatGPT寫論文的學生，更難自證清白了…

對此，得克薩斯農工大學商學院表示正在調查這起事件，但並沒有學生不及格，也沒有人因為這個問題被延畢。

學校表示，Mum教授正在一對一地與學生談話，了解他們寫作業的過程中是否使用了AI，使用到了什麼程度。個別學生的文憑將被扣留，直到調查完成。

而學生表示，自己也沒有拿到文憑。

目前，事件仍在調查中。

用ChatGPT偵測ChatGPT？

那麼問題來了，ChatGPT能證明一篇文章是不是自己寫的嗎？

對此，我們基於教授這封郵件的內容，問了問ChatGPT的觀點：

ChatGPT一上來就表示，自己並沒有能力驗證內容的原創性，以及是不是由AI生成的。

「這位老師似乎誤解了像我這樣的AI是如何工作的。雖然AI可以根據提示生成文本，但它不能確定另一篇文本是否由人工智慧生成。」

話雖如此，但這並不能攔住愛整活的網友。

他們來了一出「以其人之道還治其人之身」，在線教Mumm教授做人。

首先，ChatGPT表示，教授寫的這封郵件，正是出自自己之手。

緊接著，網友又復刻了Mumm教授的做法－

拿一段看起來像是某篇論文的節選，來問ChatGPT是不是它寫的。

這次，ChatGPT雖然沒說是自己寫的，但基本上確定內容就是來自AI。

其中，有幾個特徵與Al生成的內容一致：

1. 文本是連貫的，遵循一個清晰的結構，從一般到具體。

2. 準確地引用了來源和數字資料。

3. 正確地使用了術語，這是典型的Al模型的特徵。例如GPT-4，就是在包括科學文獻在內的各種文本中訓練出來的。

那麼實際上，這段內容的出處是哪裡呢？

有意思的地方來了，沒想到竟然是Mumm教授自己寫的博士論文！

AI檢測器並不靈？

既然ChatGPT無法檢驗一段內容是不是AI產生的，那什麼可以呢？

自然是為此專門誕生的「AI檢測器」，號稱是用魔法打敗魔法。

眾多AI檢測器中，最出名的一個便是由普林斯頓華人本科生Edward Tian創建的GPTZero——它不僅免費，而且效果拔群。

只要把文字複製貼上進去，GPTZero就可以明確地指出一段文字中，哪段是AI產生的，哪段是人類寫的。

原理上，GPTZero主要靠「困惑度」（文本的隨機性）和「突發性」（困惑度的變化）作為指標來判斷。

在每次測驗中，GPTZero也會挑選出困惑度最高的那個句子，也就是最像人話的句子。

但這個方法其實不完全可靠，雖然GPTZero聲稱產品的假陽性率

在實測中，有人曾經把美國憲法輸入GPTZero，結果被判定是AI寫的。

而剛剛那段ChatGPT的回复，GPTZero則認為很可能完全是由人類寫的。

這導致的後果就是，不了解其中原理、太固執的老師，就會無意中冤枉很多學生，如Mumm教授。

所以，如果遇到這種情況，我們該怎麼自證清白？

有網友提議，類似「美國憲法實驗」，把ChatGPT出現之前的文章丟進AI檢測器，看看結果如何。

然而，從邏輯上講，即使能證明AI檢測器確實不靠譜，學生也無法直接證明自己的論文不是由AI產生的。

問一下ChatGPT怎麼破，它是這麼說的。

「讓老師理解AI的工作方式和限制」，嗯，ChatGPT發現了華點。

目前小編唯一想到的答案是，如果不在教授眼皮底下直接寫，那就每次寫論文都錄屏，或乾脆給教授開直播。

連OpenAI對於自己的官方ChatGPT偵測器，也只能保證26%的「真陽性」正確率。

他們還特地發了官方聲明給大家打預防針：「我們真的不建議孤立地使用這個工具，因為我們知道它可能出錯，使用AI進行任何種類的評估都是如此」。

AI內容偵測為何如此困難？

目前市面上已有的偵測器已經數不清－GPTZero、Turnitin、GPT-2 Output、Writer AI 、Content at Scale AI等等，但準確率都差強人意。

那麼，為什麼我們要偵測一段內容是不是AI生成的，就這麼困難？

Turnitin的AI副總裁Eric Wang稱，用軟體偵測AI寫作的原理，是基於統計學。從統計學的角度來看，AI與人類的區別在於，它極為穩定地處於平均水平。

「像ChatGPT這樣的系統就像是自動補全的高級版本，尋找下一個最可能要寫的單字。這實際上就是為什麼它讀起來如此自然的原因。AI寫作是人類寫作中最可能的子集。”

Turnitin的檢測器便會「識別出書寫過於一致的平均情況」。然而，有時人類的寫作看起來也會處於平均水準。

在經濟學、數學和實驗室報告中，學生傾向於遵循固定的寫作風格，這意味著他們更有可能被誤認為是AI寫作。

更好笑的是，在前不久的一篇論文中，來自史丹佛大學的研究團隊發現：對於非母語者的論文，GPT偵測器更容易判為AI寫的。其中，中國人寫的英文論文被判為AI生成的機率，高達61%。

論文地址：https://arxiv.org/pdf/2304.02819.pdf

研究人員從中國的教育論壇上獲取了91篇托福作文，又從美國Hewlett基金會的資料集中摘取了88篇美國八年級學生寫的作文，輸進了7大GPT偵測器。

圖中百分比即是「誤判」比例，也就是明明由人寫的，卻被判為AI生成的

可以看到，美國學生的作文被誤判的機率最高才12%，而中國學生的作文，機率基本過半，甚至高達76%。

研究者的結論是，因為非母語者寫的東西不地道，複雜度低，容易被錯判。

可見，以複雜度判定作者是人類還是AI，並不合理。

抑或，背後還有其他原因？

對此，英偉達科學家Jim Fan稱，檢測器在很長一段時間內都是不可靠的。畢竟AI會變得越變越強，並且會以越來越像人類的方式寫作。

可以肯定地說，隨著時間的推移，這些語言模型的小怪癖會越變越少。

不知這對學生們，會是福音還是噩耗。

以上是離譜！美國教授用ChatGPT「證實」論文抄襲，半個班學生慘遭掛科的詳細內容。更多資訊請關注PHP中文網其他相關文章！