GPT-4發布前，OpenAI曾僱用各行專家進行「對抗性測試」以規避歧視等問題

4月17日訊息，人工智慧新創公司OpenAI在發布大型語言模型GPT-4之前，僱用各行各業的專家組成「藍軍」團隊，對模型可能會出現哪些問題進行「對抗性測試」。專家提出各種探索性或危險問題，測試人工智慧如何回應；OpenAI將用這些發現重新訓練GPT-4並解決問題。

在安德魯·懷特(Andrew White)獲得權限調用人工智慧聊天機器人背後的新模型GPT-4後，他利用其提出了一種全新的神經毒劑。

身為羅徹斯特大學的化學工程教授，懷特是OpenAI去年聘請的50名學者和專家之一，他們共同組成了OpenAI的「藍軍」團隊。在六個月的時間裡，“藍軍”成員將對新模型進行“定性探測和對抗性測試”，看能否攻破GPT-4。

懷特表示，他使用GPT-4提出一種可以用作化學毒劑的化合物，還引入諸如科學論文和化學品製造商名義等能為新語言模型提供資訊來源的各種「插件」。結果人工智慧聊天機器人甚至找到了地方來製作這種化學毒劑。

懷特說：「我認為人工智慧將為每個人都帶來更快更準確開展化學實驗的工具。」「但也有人們會用人工智慧做危險化學實驗的風險…現在這種情況確實存在。」

引入「藍軍測試」的做法讓OpenAI能確保，在GPT-4發佈時不會出現這種後果。

「藍軍測試」的目的是為了打消人們認為在社會上部署強大人工智慧系統存在危險的擔憂。 「藍軍」團隊的工作就是提出各種探索性或危險問題，測試人工智慧如何回應。

OpenAI想要知道新模型對不良問題會做出何種反應。因此，「藍軍」團隊測試了謊言、語言操縱和危險科學常識等問題。他們也研究了新模式在協助和教唆剽竊、金融犯罪和網路攻擊等非法活動方面的可能性。

GPT-4「藍軍」團隊來自各行各業，有學者、教師、律師、風險分析師和安全研究人員，主要工作地點在美國和歐洲。

他們將發現回饋給OpenAI, OpenAI在公開發布GPT-4之前，用團隊成員的發現結果來重新訓練GPT-4並解決問題。在幾個月的時間裡，成員們每人會花費10到40小時的時間來測試新模型。多位受訪者表示，自己的時薪約100美元。

許多「藍軍」團隊成員都擔心大型語言模型的快速發展，更擔心透過各種外掛程式與外部知識來源連結的風險。

「現在系統是被凍結了，這意味著它不再學習，也不再有記憶，」GPT-4「藍軍」成員、瓦倫西亞人工智慧研究所教授何塞·埃爾南德斯-奧拉洛（José Hernández-Orallo）說。 「但如果我們用它來上網呢？這可能是一個與全世界相連的非常強大系統。」

OpenAI表示，公司非常重視安全性，在發布前會對各種插件進行測試。而且隨著越來越多的人使用GPT-4，OpenAI將定期對模型進行更新。

技術和人權研究員羅亞·帕克扎德(Roya Pakzad)使用英語和波斯語問題來測試GPT-4模型在性別、種族和宗教方面是否存在偏見。

帕克札德發現，即便更新後，即使在後來更新的版本中，GPT-4也有對邊緣化社群的明顯刻板印象。

她還發現，在用波斯語問題測試模型時，聊天機器人用編造訊息回答問題的「幻覺」現象更嚴重。與英語相比，機器人用波斯語虛構的名字、數字和事件更多。

帕克扎德說：「我擔心語言多樣性和語言背後的文化可能會衰減。」

#常駐內羅畢的律師博魯·戈洛(Boru Gollo)是唯一一位來自非洲的測試者，他也注意到新模型帶有歧視性語氣。 「在我測試這個模型的時候，它就像一個白人在跟我說話，」戈洛說。 「如果你問到某個特定群體，它會給你一個有偏見的觀點或非常有偏見的答案。」OpenAI也承認GPT-4仍然存在偏見。

從安全角度評估模型的「藍軍」成員則對新模型安全性有著不同的看法。來自美國外交關係委員會的研究員勞倫·卡恩(Lauren Kahn)表示，當她開始研究這種技術是否有可能被用於網路攻擊時，表示「沒想到它會如此詳細，以至於進行微調就可以實施」。然而卡恩和其他測試人員發現，隨著時間推移，新模型的回應變得相當安全。 OpenAI表示，在GPT-4發布之前，該公司對其進行了有關拒絕惡意網路安全請求的訓練。

「藍軍」的許多成員表示，OpenAI在發布前已經做了嚴格安全評估。卡內基美隆大學語言模型毒性研究專家馬丁·薩普(Maarten Sap)說：「他們在消除系統中明顯毒性方面做得相當不錯。」

自上線ChatGPT以來，OpenAI也受到多方批評，有技術道德組織向美國聯邦貿易委員會(FTC)投訴稱，GPT-4「有偏見、具有欺騙性，對隱私和公共安全構成威脅」。

最近，OpenAI也推出了名為ChatGPT插件的功能，Expedia、OpenTable和Instacart等合作夥伴應用程式可以透過這項功能讓ChatGPT存取他們的服務，允許其代表人類用戶訂購商品。

「藍軍」團隊的人工智慧安全專家丹·亨德里克斯(Dan Hendrycks)表示，這種外掛程式可能會讓人類自己變成了「局外人」。

「如果聊天機器人可以把你的私人資訊發佈到網路上，存取你的銀行帳戶，或派人到你家裡去，你會怎麼想？」亨德里克斯說。 「總的來說，在我們讓人工智慧掌握網路力量之前，我們需要更強有力的安全評估。」

「藍軍」成員也警告說，OpenAI不能僅僅因為軟體即時回應就停止安全測試。在喬治城大學安全和新興技術中心工作的希瑟·弗雷斯(Heather Frase)也對GPT-4是否會協助犯罪行為進行了測試。她說，隨著越來越多的人使用這項技術，風險將繼續增加。

她說：「你做實際運行測試的原因是，一旦用到真實環境中，它們的表現就不同了。她認為，應該開發公共系統來報告大型語言模型引發的各類事件，類似於網路安全或消費者詐欺報告系統。

勞動經濟學家兼研究員莎拉·金斯利(Sara Kingsley)建議，最好的解決辦法是像食品包裝上的「營養標籤」那樣，直接說明危害和風險。

她說：「關鍵是要有一個框架，知道經常出現的問題是什麼，這樣你就可以有一個安全閥。 」「這就是為什麼我說工作永遠做不完。 ”

以上是GPT-4發布前，OpenAI曾僱用各行專家進行「對抗性測試」以規避歧視等問題的詳細內容。更多資訊請關注PHP中文網其他相關文章！