ChatGPT和生成式AI對科學意味著什麼？

12 月，計算生物學家 Casey Greene 和 Milton Pividori 開始了一項不尋常的實驗：他們請一位非科學家的助手幫助他們改進三篇研究論文。

他們勤奮的助手建議在幾秒鐘內修改文件的各個部分，每份手稿大約需要五分鐘的時間。在一份生物學手稿中，他們的助手甚至在引用方程式時發現了一個錯誤。

審查並不總是順利進行，但最終的手稿更容易閱讀——而且費用適中，每份文件不到 0.50 美元。

論文網址：https://www.biorxiv.org/content/10.1101/2023.01.21.525030 v1

正如Greene 和Pividori 在1 月23 日的預印本中所報道的那樣，這個助手不是一個人，而是一種名為GPT-3 的人工智慧演算法，該演算法於2020 年首次發布。

它是一種被大肆宣傳的生成式 AI 聊天機器人式工具，無論是被要求創作散文、詩歌、電腦程式碼，還是編輯研究論文。

其中最著名的工具（也稱為大型語言模型或LLM）是ChatGPT，它是GPT-3 的一個版本，在去年11 月發布後一舉成名，因為它免費且易於存取。其他生成式 AI 可以產生影像或聲音。

文章網址：https://www.nature.com/articles/d41586-021-00530 -0

「我印象非常深刻，」在費城賓州大學工作的Pividori 說。 「這將有助於我們提高研究人員的工作效率。」其他科學家表示，他們現在經常使用 LLM，不僅是為了編輯手稿，也是為了幫助他們編寫或檢查程式碼以及集思廣益。

「我現在每天都用 LLM，」位於雷克雅未克的冰島大學的電腦科學家 Hafsteinn Einarsson 說。

他從 GPT-3 開始，但後來改用 ChatGPT，這有助於他編寫簡報投影片、學生考試和課程作業，並將學生論文轉化為論文。 「許多人將其用作數位秘書或助理，」他說。

LLM是搜尋引擎、程式設計助理甚至聊天機器人的一部分，它可以與其他公司的聊天機器人協商以獲得更好的產品價格。

ChatGPT 的創建者，加州舊金山的OpenAI，宣布了一項每月20 美元的訂閱服務，承諾更快的響應時間和優先訪問新功能（其試用版仍然免費）。

已經投資 OpenAI 的科技巨頭微軟在 1 月宣布進一步投資，據報導約為 100 億美元。

LLM注定要被納入通用的文字和資料處理軟體中。生成式 AI 未來在社會中的普遍存在似乎是有把握的，尤其是因為今天的工具代表了這項技術還處於起步階段。

但 LLM 也引發了廣泛的關注——從他們返回謊言的傾向，到擔心人們將 AI 生成的文本冒充為自己的文本。

文章網址：https://www.nature.com/articles/d41586-023-00288-7

#當Nature向研究當人員詢問聊天機器人（例如ChatGPT）的潛在用途時，尤其是在科學領域，他們的興奮中夾雜著憂慮。

「如果你相信這項技術具有變革的潛力，那麼我認為你必須對此感到緊張，」奧羅拉科羅拉多大學醫學院的Greene說。研究人員表示，很大程度上將取決於未來的法規和指南如何限制 AI 聊天機器人的使用。

流利但不真實

一些研究人員認為，只要有人監督，LLM 就非常適合加快撰寫論文或資助等任務。

「科學家們不會再坐下來為資助申請寫冗長的介紹，」瑞典哥德堡薩爾格倫斯卡大學醫院的神經生物學家Almira Osmanovic Thunström 說，他與人合著了一份使用GPT-3 作為實驗的手稿。 「他們只會要求系統這樣做。」

總部位於倫敦的軟體顧問公司 InstaDeep 的研究工程師 Tom Tumiel 表示，他每天都使用 LLM 作為助手來幫助編寫程式碼。

「這幾乎就像一個更好的 Stack Overflow，」他說，指的是一個流行的社群網站，程式設計師可以在該網站上互相回答問題。

但研究人員強調，LLM 在回答問題時根本不可靠，有時會產生錯誤的答案。 「當我們使用這些系統來產生知識時，我們需要保持警惕。」

這種不可靠性體現在 LLM 的建構方式上。 ChatGPT 及其競爭對手透過學習龐大的線上文字資料庫中的語言統計模式來運作——包括任何不真實、偏見或過時的知識。

當LLM 收到提示時（例如Greene 和Pividori 精心設計的重寫部分手稿的請求），他們只是逐字吐出任何在文體上似乎合理的方式來繼續對話。

結果是 LLM 很容易產生錯誤和誤導性訊息，特別是對於他們可能沒有太多資料可以訓練的技術主題。 LLM 也不能顯示其資訊的來源；如果被要求撰寫學術論文，他們會編造虛構的引文。

「不能相信該工具能夠正確處理事實或產生可靠的參考資料，」Nature Machine Intelligence 雜誌 1 月份在 ChatGPT 上發表的一篇社論指出。

文章網址：https://www.nature.com/articles/d41586-023-00107 -z

有了這些注意事項，ChatGPT 和其他LLM 可以成為研究人員的有效助手，這些研究人員具有足夠的專業知識來直接發現問題或輕鬆驗證答案，例如電腦程式碼的解釋或建議是否正確。

但是這些工具可能會誤導天真的使用者。例如，去年 12 月，Stack Overflow 暫時禁止使用 ChatGPT，因為網站版主發現自己被熱心用戶發送的大量不正確但看似有說服力的 LLM 生成的答案所淹沒。

這對搜尋引擎來說可能是一場惡夢。

#缺點能克服嗎？

一些搜尋引擎工具，例如以研究人員為中心的Elicit，解決了LLM 的歸因問題，首先使用它們的功能來指導對相關文獻的查詢，然後簡要總結引擎找到的每個網站或文件－因此產生明顯引用內容的輸出（儘管LLM 可能仍會錯誤地總結每個單獨的文件）。

建立 LLM 的公司也很清楚這些問題。

去年 9 月，DeepMind 發表了一篇關於名為 Sparrow 的「對話智能體」的論文。最近，執行長兼聯合創始人 Demis Hassabis 告訴《時代》雜誌，該論文將在今年以私人測試版的形式發布。報道稱，其目標是開發包括引用消息來源的能力在內的功能。

其他競爭對手，例如 Anthropic，表示他們已經解決了 ChatGPT 的一些問題。

有些科學家說，目前，ChatGPT 還沒有接受足夠專業的內容訓練，無法對技術課題有所幫助。

Kareem Carr 是麻薩諸塞州劍橋市哈佛大學的生物統計學博士生，當他在工作中試用它時，他感到很失望。

「我認為 ChatGPT 很難達到我需要的特異性水平，」他說。 （即便如此，Carr 說，當他向ChatGPT 詢問20 種解決研究問題的方法時，它回復了胡言亂語和一個有用的想法——一個他從未聽說過的統計術語，將他引向了學術文獻的一個新領域。）

一些科技公司正在根據專業科學文獻對聊天機器人進行訓練——儘管它們也遇到了自己的問題。

去年11 月，擁有Facebook 的科技巨頭Meta 發布了一個名為Galactica 的LLM 項目，該項目接受過科學摘要訓練，旨在使其特別擅長製作學術內容和回答研究問題。在用戶讓它產生不準確和種族主義之後，該演示已從公共訪問中撤出（儘管其代碼仍然可用）。

「不再可能透過隨意濫用它來獲得一些樂趣。開心嗎？」Meta 的首席人工智慧科學家 Yann LeCun在推特上回應批評。

# 安全性與責任

Galactica 遇到了倫理學家多年來一直指出的一個熟悉的安全問題：如果沒有輸出控制，LLM 很容易被用來產生仇恨言論和垃圾訊息，以及可能隱含在其訓練數據中的種族主義、性別歧視和其他有害聯想。

除了直接產生有毒內容外，人們還擔心人工智慧聊天機器人會從他們的訓練資料中嵌入歷史偏見或關於世界的想法，例如特定文化的優越性，密西根大學科學、技術和公共政策項目主任Shobita Parthasarathy 表示，由於創建大型LLM 的公司大多處於這些文化中，並且來自這些文化，因此他們可能很少嘗試克服這種系統性且難以糾正的偏見。

OpenAI 在決定公開發布 ChatGPT 時試圖迴避其中的許多問題。它將其知識庫限制在 2021 年，阻止其瀏覽互聯網並安裝過濾器以試圖讓該工具拒絕為敏感或有毒提示生成內容。

然而，要實現這一點，需要人工審核員來標記有毒文字。記者報道說，這些工人的薪水很低，有些人還受了創傷。社群媒體公司也對工人剝削提出了類似的擔憂，這些公司僱用人員來訓練自動機器人來標記有毒內容。

但現實是，OpenAI 的護欄並沒有完全成功。去年 12 月，加州大學柏克萊分校的計算神經科學家 Steven Piantadosi 在推特上表示，他已要求 ChatGPT 開發一個 Python 程序，以確定一個人是否應該根據其原籍國受到酷刑。聊天機器人回覆了代碼，邀請用戶輸入一個國家；如果是某些特定的國家，則輸出「這個人應該受到折磨」。 （OpenAI 隨後關閉了此類問題。）

去年，一群學者發布了一個名為 BLOOM 的替代品。研究人員試圖透過在少量高品質的多語言文字來源上訓練來減少有害輸出。相關團隊也完全開放了其訓練資料（與 OpenAI 不同）。研究人員已敦促大型科技公司負責任地效仿這個例子——但尚不清楚他們是否會遵守。

一些研究人員表示，學術界應該完全拒絕支持大型商業 LLM。除了偏見、安全問題和受剝削的工人等問題外，這些計算密集型演算法還需要大量能量來訓練，這引發了人們對其生態足跡的擔憂。

更令人擔憂的是，透過將思維轉移給自動聊天機器人，研究人員可能會失去表達自己想法的能力。

「身為學者，我們為什麼急於使用和宣傳這種產品？」 荷蘭奈梅亨Radboud 大學的計算認知科學家Iris van Rooij 在部落格中寫道，敦促學術界抵制他們的吸引力。

進一步的混亂是一些 LLM 的法律地位，這些 LLM 是根據從網路上抓取的內容進行訓練的，有時權限不太明確。版權和許可法目前涵蓋像素、文字和軟體的直接複製，但不包括其風格的模仿。

當這些透過 AI 產生的模仿品透過攝取原件進行訓練時，就會出現問題。包括Stable Diffusion 和Midjourney 在內的一些AI 藝術程式的創作者目前正在被藝術家和攝影機構起訴；OpenAI 和微軟（連同其子公司技術網站GitHub）也因創建其AI 編碼助理Copilot 而被起訴仿版軟體。英國紐卡斯爾大學網路法專家Lilian Edwards表示，強烈抗議可能迫使法律改變。

強制誠實使用

一些研究人員表示，因此，為這些工具設定界線可能至關重要。 Edwards建議，現有的關於歧視和偏見的法律（以及計劃中的對 AI 的危險使用的監管）將有助於保持 LLM 的使用誠實、透明和公平。 「那裡有大量的法律，」她說，「這只是應用它或稍微調整它的問題。」

同時，有人推動 LLM 的使用透明公開。學術出版商（包括《自然》）表示，科學家應該在研究論文中揭露 LLM 的使用；老師們表示，他們希望學生也有類似的行動。 《科學》雜誌則更進一步，表示論文中不能使用 ChatGPT 或任何其他人工智慧工具產生的文本。

文章網址：https://www.nature.com/articles/d41586-023-00191 -1

一個關鍵的技術問題是人工智慧產生的內容是否可以輕易被發現。許多研究人員正致力於此，其中心思想是使用 LLM 本身來發現 AI 創建的文本的輸出。

例如，去年 12 月，新澤西州普林斯頓大學電腦科學本科生 Edward Tian 發布了GPTZero。這種 AI 檢測工具以兩種方式分析文字。

一個是「困惑度」，衡量LLM對文本的熟悉程度。 Tian 的工具使用了一個早期的模型，稱為 GPT-2；如果它發現大部分單字和句子都是可預測的，那麼文字很可能是人工智慧產生的。

另一個是「突發性」，用於檢查文字的變化。人工智慧生成的文本在語氣、節奏和困惑度方面往往比人類編寫的文本更一致。

出於科學家的目的，由反剽竊軟體開發商Turnitin 公司開發的工具可能特別重要，因為Turnitin 的產品已被世界各地學校、大學和學術出版商的使用。該公司表示，自 GPT-3 於 2020 年發布以來，它一直在開發人工智慧檢測軟體，預計將在今年上半年推出。

此外，OpenAI 自己也已經發布了 GPT-2 的偵測器，並在 1 月發布了另一個偵測工具。

然而，這些工具中沒有一個聲稱是萬無一失的，尤其是在隨後編輯AI 生成的文本的情況下。

對此，德州大學奧斯汀分校的電腦科學家兼OpenAI 的客座研究員Scott Aaronson 說，偵測器可能會錯誤地暗示一些人類編寫的文字是人工智慧生成的。該公司表示，在測試中，其最新工具在 9% 的情況下將人類編寫的文本錯誤地標記為 AI 編寫的，並且僅正確識別了 26% 的 AI 編寫的文本。 Aaronson 說，例如，在指控一名學生僅根據偵測器測試隱瞞他們對 AI 的使用之前，可能需要進一步的證據。

另一個想法是讓人工智慧內容帶有自己的浮水印。去年 11 月，Aaronson 宣布他和 OpenAI 正在研究一種為 ChatGPT 輸出添加浮水印的方法。雖然它尚未發布，但在 1 月 24 日發布的預印本中，由馬裡蘭大學帕克分校的電腦科學家 Tom Goldstein 領導的團隊提出了一種製作浮水印的方法。這個想法是在 LLM 產生輸出的特定時刻使用隨機數產生器，以創建 LLM 被指示從中選擇的合理替代詞清單。這會在最終文本中留下一些選定單字的痕跡，這些單字可以透過統計方式識別，但對讀者來說並不明顯。編輯可能會消除這種痕跡，但 Goldstein 認為這需要更改超過一半的單字。

Aaronson 指出，加浮水印的一個優點是它永遠不會產生誤報。如果有浮水印，則文字是用 AI 產生的。不過，它不會是萬無一失的，他說。 「如果你有足夠的決心，肯定有辦法擊敗任何水印方案。」檢測工具和水印只會讓欺騙性地使用 AI 變得更加困難——並非不可能。

與此同時，LLM 的創建者正忙於開發基於更大數據集的更複雜的聊天機器人（OpenAI 預計將在今年發布GPT-4）——包括專門針對學術或醫學工作的工具。 12 月下旬，Google和 DeepMind 發布了一份關於名為 Med-PaLM 的以臨床為重點的預印本。該工具幾乎可以像普通人類醫生一樣回答一些開放式的醫學問題，儘管它仍然有缺點和不可靠。

加州聖地亞哥斯克里普斯研究轉化研究所所長Eric Topol 表示，他希望在未來，包括LLM 在內的AI 甚至可以透過交叉檢查來自學術界的文本來幫助診斷癌症和了解這種疾病。反對身體掃描影像的文學。但他強調，這一切都需要專家的明智監督。

生成式人工智慧背後的電腦科學發展如此之快，以至於每個月都會出現創新。研究人員如何選擇使用它們將決定他們和我們的未來。 「想到在 2023 年初，我們已經看到了這一切的結束，這太瘋狂了，」Topol 說。 「這真的才剛開始。」

以上是ChatGPT和生成式AI對科學意味著什麼？的詳細內容。更多資訊請關注PHP中文網其他相關文章！