AI無法打敗AI！ ChatGPT檢測器頻繁冤枉無辜學生，竟有210萬教師在用

當你被AI無辜扣上「作弊」的帽子，作何感想？

這件事正好發生在了一位高三學生Lucy Goetz身上。原本她寫的一篇社會主義原創論文得了最高分。

但是，Turnitin公司的AI寫作偵測器竟說，Goetz論文結尾是用ChatGPT產生的。

Goetz震驚道，「我很高興能和老師們保持良好的關係」。

簡言之，還好老師了解我，不然跳進黃河都洗不清楚了。

而更令人驚訝的是，這個ChatGPT偵測器現在已經被210萬名教師使用。

AI無法打敗AI

Goetz的論文中被標記出的部分屬於異常情況，但這表示偵測器有時會出錯。

顯然，AI是無法打敗AI的。這對許多學生來說可能產生災難性的後果。

為了測試Turnitin的偵測器，記者Geoffrey A. Fowler對Goetz在內的5名高中生進行了測試。

他們創作了16篇涵蓋真實、AI生成，以及混合來源的論文樣本。

結果如何？

Turnitin的偵測器至少在一半以上的樣本中出現錯誤，僅是準確辨識了其中6篇，但在3篇上的偵測都失敗了。其中就包括對Goetz原創論文中8%內容的標記錯誤。

對於剩下的7篇，Fowler稱，「我只會給它部分分數，因為它的判斷大致正確，但錯誤識別了一些ChatGPT生成或混合來源的寫作部分。」

然而，Turnitin聲稱其偵測器的整體準確率達到98%。該公司還表示，在其自身測試中，類似Goetz論文的情況（即假陽性）發生的機率不到1%。

Turnitin的AI偵測器詳細頁面會指派一個總分，並反白顯示疑似AI產生的句子。該公司表示，它故意用藍色而非紅色標記疑似AI生成的段落，並在得分下方連結教師資源。

加州康科德市Goetz的AP英語課老師Rebecca Dell表示，Turnitin標記AI文本的系統並不總是有效，這令人擔憂。

與抄襲指控不同，AI作弊沒有源文件作為證據，這最容易讓老師對學生帶有偏見。

或許不是每個人都像Goetz那麼幸運。

Goetz表示，「對學生來說，被指控AI作弊尤其令人恐懼。除非你的老師了解你的寫作風格，或者對你非常信任，否則沒有辦法證明你沒有作弊」。

AI偵測為何如此困難

自ChatGPT面世以來，已經被許多大學的學生和老師用在日常的作業和教學中。

#

然而，如果不加以限制，ChatGPT將會變成史上最強大的作弊工具，可以幫助學生寫作業，甚至是完成考試論文。

為了反偵察，一款簡單易用的偵測器成為老師期望的東西。一位22歲普林斯頓大學的學生Edward Tian，就自行開發了一款偵測器－GPTZero。

甚至，OpenAI官宣推出一個新工具，名為AI Text Classifier的檔案偵測器。

但是，這些偵測器的表現不如人意。

偵測出AI創作的內容聽起來很簡單。但當給你一封手寫郵件和ChatGPT產生的郵件後，我們幾乎無法分辨。

Turnitin的人工智慧副總裁Eric Wang稱，用軟體檢測人工智慧寫作涉及統計學。從統計學的角度來看，人工智慧與人類的區別在於它極為穩定地處於平均水平。

直白點講，AI水準很穩定。然而，實際上並非這樣一個道理。

「像ChatGPT這樣的系統就像是自動補全的進階版本，尋找下一個最可能要寫的單字。這實際上就是它為什麼讀起來如此自然的原因。AI寫作是人類寫作中最可能的子集。」

#Turnitin的偵測器便會「辨識出書寫過於一致的平均情況」。挑戰就在於，有時有時人類的寫作可能確實看起來處於平均水平。

在經濟學、數學和實驗室報告中，學生傾向於遵循固定的寫作風格，這意味著他們更有可能被誤認為是AI寫作。

這可能是為什麼Turnitin錯誤地標記了Goetz的論文，因為它的內容涉及經濟學。

Wang表示，Turnitin努力調整其係統，在標記某個句子為AI生成之前需要更高的置信度，以便在這方面犯錯。

並稱，自己家的軟體已經有了很大的進展。 「當我首次在1月下旬測試Goetz的論文時，軟體辨識出其中大約50%是AI生成的。Turnitin在3月下旬再次透過其係統運行我的樣本，那時只標記了Goetz論文中的8 %為AI產生的。」

Turnitin的偵測器也面臨其他重要的技術限制。

在它完全偵測正確的6個樣本中，它們都明顯是100%的學生作品，或由ChatGPT產生的。

但是當用混合AI和人類來源的論文進行測試時，它經常錯誤識別單個句子，或完全漏掉人類部分。而且它無法在透過Quillbot（可以重新組合句子的改寫程式）處理的論文中發現ChatGPT的痕跡。

此外，Turnitin的偵測器可能已經落後於目前的人工智慧技術水平。

因為就拿ChatGPT來說吧，現在已經得到了GPT-4的加持，而且具有更多的創意和風格化能力。

#

英偉達科學家Jim Fan稱，我認為檢測器在長期內是不可靠的。人工智慧會變得越來越好，並且會以越來越像人類的方式進行寫作。可以肯定地說，隨著時間的推移，這些語言模型的小怪癖都會減少。

用AI偵測，是個好主意嗎？

既然有出錯的潛在可能性（即使只有1%），為什麼還要發佈人工智慧偵測器呢？

Chechitelli說，「教師希望有威懾作用」。然而，一些教育工作者擔心這實際上會提高學生的緊張程度。

4月4日，Turnitin已經為大約10,700所中等教育和高等教育機構激活了這款ChatGPT檢測器，對學生作業進行「由AI產生」的評分以及逐句分析。

密西根大學迪爾伯恩分校的數位教育副教務長Mitchel Sollenberger請求Turnitin不要在初始發佈時為其校園啟動AI檢測。

他擔憂的是，每學期約2萬份學生論文，透過Turnitin進行檢測的教師可能會因誤報，導致毫無根據的學術誠信調查。教師不應成為第三方軟體系統的專家。

#

以上是AI無法打敗AI！ ChatGPT檢測器頻繁冤枉無辜學生，竟有210萬教師在用的詳細內容。更多資訊請關注PHP中文網其他相關文章！