用ChatGPT寫論文可靠嗎？有學者試了一下：漏洞百出，但注水的「好」工具

ChatGPT以其強大的文本創作能力，直接問鼎地表最強問答模型。

但強大的AI也會帶來一些負面影響，例如在問答社區一本正經地寫出錯誤答案，幫助學生寫論文等。

最近arXiv上的一篇論文引發了業界的關注，來自西班牙聖地亞哥-德孔波斯特拉大學的研究人員在文中以「人工智慧在藥物發現中的挑戰、機會與策略」，這篇論文的特別之處在於作者使用ChatGPT輔助論文寫作。

論文連結：https://arxiv.org/abs/2212.08104

作者團隊在摘要中的最後一段「來自人類作者的說明」（Note from human-authors）中表示，創建這篇論文是為了測試ChatGPT (一個基於GPT-3.5語言模型的聊天機器人)的寫作能力是否能幫助人類作者撰寫評論文章。

作者設計了一段指令作為文字產生的初始提示，然後對自動產生的內容進行評估。再徹底的審查之後，人類作者實際上重寫了手稿，努力在原始proposal和科學標準之間保持平衡，文章的最後也討論了使用人工智能實現這一目標的優勢與局限性。

但還有一個問題，作者清單裡怎麼沒有ChatGPT？ （手動狗頭）

論文寫作方法

#本文是在ChatGPT的輔助下產生的，ChatGPT是2022年11月30日發布的一個自然語言處理系統，由OpenAI用大量文本語料庫進行訓練，能夠根據提供給它的輸入生成類似人類寫作的文本。

就本文而言，人類作者提供的輸入包括論文的主題（人工智慧在藥物發現中的應用）、需要考慮的章節數量，以及每個章節的具體提示和說明。

ChatGPT產生的文字需要經過手動編輯後才能作為最終的定稿，以修正和豐富內容，避免重複和不一致等問題；而人類也需要對人工智慧建議的所有參考文獻進行了修改。

這項工作的最終版本是人類作者在人工智慧的協助下進行反覆修改的結果，直接從ChatGPT獲得的初步文本與當前版本手稿之間的總相似度為：完全相同的4.3%，微小的變化13.3%，相關的意義16.3%。直接從ChatGPT獲得的初步文本中，正確的參考文獻比例僅為6%。

由ChatGPT產生的原始版本，以及用於建立該版本的輸入資訊都涵蓋進來作為Supporting Information

論文摘要中的插圖由DALL-E產生。

論文內容

論文總共包括10個section和56個參考文獻，其中section1-9都只包含1-2個段落，主要描述論文主題“ 「人工智慧在藥物發現中的挑戰、機會和策略」相關的內容；第十個section主要討論「人類作者對基於ChatGPT和AI的科學寫作工具的專家意見」；文章中只有摘要部分包含一張插圖。

摘要

人工智慧有可能徹底改變藥物發現過程，提供更好的效率、準確性和速度。然而，AI的成功應用取決於高品質數據的可用性、對道德問題的處理以及對基於人工智慧方法的局限性的認識。

這篇文章回顧了人工智慧在這個領域的好處、挑戰和缺點，並提出了克服目前障礙的可能策略和方法。

文章中也討論了資料增強的使用、可解釋的人工智慧、人工智慧與傳統實驗方法的整合，以及人工智慧在醫藥研究中的潛在優勢。

總的來說，這篇評論強調了人工智慧在藥物發現中的潛力，並對實現其在該領域的潛力所面臨的挑戰和機會進行了深入探討。

人類作者對基於ChatGPT和AI的科學寫作工具的專家意見

ChatGPT是一個基於GPT-3.5語言模型的聊天機器人，它的設計目標並非是撰寫科學論文的助手，但它與人類進行連貫的對話並就廣泛的主題提供新資訊的能力，以及它糾正甚至生成計算程式碼的能力，都讓科學界感到驚訝。

因此，我們決定測試它的潛力，為編寫關於人工智慧演算法在藥物發現中的作用的簡短評論做出貢獻。

作為撰寫科學論文的助手，ChatGPT有幾個優點，包括快速生成和優化文本的能力，以及幫助用戶完成幾個任務，包括組織信息，甚至在某些情況下連接思想。

#

然而，這個工具絕對不是產生新內容的理想工具。

輸入instructions後，還需要人類對人工智慧產生的文字進行修改，而且是大篇幅的編輯和修正，包括替換幾乎所有的參考文獻，因為ChatGPT提供的參考文獻明顯不正確。

這也是ChatGPT目前存在的一個大問題，它與其他計算工具（如搜尋引擎）相比有一個關鍵的區別，後者主要是為所需的資訊提供可靠的參考。

而採用基於人工智慧的工具進行寫作輔助還存在另一個重要的問題：它是在2021年訓練的，所以它並不包括最新資訊。

這次寫作實驗提供的結果是：我們可以說ChatGPT不是一個有用的工具，在沒有強大的人類幹預的情況下無法編寫可靠的科學文本。

ChatGPT缺乏準確和充分傳達複雜科學概念和資訊所需的知識和專長。

此外，ChatGPT使用的語言和風格可能不適合學術寫作，為了產生高品質的科學文本，人類的輸入和審查是必不可少的。

這種人工智慧還不能用於生產科學文章的主要原因之一是它缺乏評估處理資訊真實性和可靠性的能力，因此，由ChatGPT生成的科學文本肯定包含錯誤或誤導性資訊。

同樣需要注意的是，審查者可能會發現區分由人類或這個人工智慧寫的文章並非易事。

這使得審查過程必須徹底，以防止虛假或誤導性資訊的發表。

一個真正的風險是，掠奪性期刊（predatory journals）可能利用科學文章的快速生產來產生大量的低品質內容，這些期刊往往受利益驅使，而不是致力於科學進步，它們可能利用人工智慧快速生產文章，讓不合格的研究充斥市場，破壞科學界的公信力。

最大的危險之一是科學文章中虛假資訊的潛在擴散，這可能導致科學事業本身的貶值，失去對科學研究的準確性和完整性的信任，會對科學的進步產生不利影響。

有幾種可能的解決方案來減輕與使用人工智慧製作科學文章有關的風險。

一個解決方案是開發專門用於生產科學文章的人工智慧演算法。這些演算法可以在高品質、經同行評審的研究的大型資料集上進行訓練，這將有助於確保其產生的資訊的真實性。

此外，這些演算法可以被編程為標記潛在的問題信息，如引用不可靠的來源，這將提醒研究人員需要進一步審查和核實。

另一種方法是開發能夠更好地評估其處理的資訊的真實性和可靠性的人工智慧系統。這可能涉及在高品質科學文章的大型數據集上訓練人工智慧，以及使用交叉驗證和同行評審等技術，以確保人工智慧產生準確和值得信賴的結果。

另一個可能的解決方案是為人工智慧在科學研究中的應用制定更嚴格的準則和法規，例如包括要求研究人員披露他們在製作文章時使用了人工智能，並實施審查程序以確保人工智慧產生的內容符合某些品質和準確性標準。

此外，還可以包括要求研究人員在發表前徹底審查和核實人工智慧生成的任何資訊的準確性，以及對那些未能這樣做的人的懲罰，教育公眾了解人工智慧的局限性和依靠人工智慧進行科學研究的潛在危險也可能是有用的，可以幫助防止錯誤訊息的傳播，確保公眾能夠更好地區分可靠和不可靠的科學資訊來源。

資助機構和學術機構可以透過提供培訓和資源，幫助研究人員了解該技術的局限性，在促進科學研究中負責任地使用人工智慧方面發揮作用。

總的來說，解決在科學文章製作中使用人工智慧相關的風險，將需要技術解決方案、監管框架和公共教育的結合。

透過實施這些措施，我們可以確保人工智慧在科學界的使用是負責任和有效的。研究人員和政策制定者必須仔細考慮在科學研究中使用人工智慧的潛在危險，並採取措施來減少這些風險。

#

在人工智慧能夠被信任以產生可靠和準確的信息之前，它在科學界的使用應該是謹慎的，必須仔細評估人工智慧工具提供的信息，並使用可靠的來源進行驗證。

參考資料：https://arxiv.org/abs/2212.08104

以上是用ChatGPT寫論文可靠嗎？有學者試了一下：漏洞百出，但注水的「好」工具的詳細內容。更多資訊請關注PHP中文網其他相關文章！