首頁  >  文章  >  科技週邊  >  GPT-4技術細節保密惹爭議,OpenAI首席科學家回應了

GPT-4技術細節保密惹爭議,OpenAI首席科學家回應了

WBOY
WBOY轉載
2023-04-12 15:37:03953瀏覽

昨天凌晨,OpenAI 出人意料地發布了 GPT-4。

這次發布令科技界頗感意外,畢竟人們普遍認為 GPT-4 會在微軟週四的「The Future of Work with AI」活動上宣布。

距離 ChatGPT 首次亮相才不過四個月,它便創造了「史上成長最快的消費者應用程式」紀錄。如今 GPT-4 上線,這款產品的應對能力又上了一層樓。

震撼之餘,許多研究者認真閱讀了 GPT-4 的技術報告,卻感到了失望:怎麼沒有技術細節?

一次違背創始精神的發布

在公告中,OpenAI 分享了大量GPT-4 基準和測試結果以及一些有趣的演示,但幾乎沒有提供有關用於訓練系統的資料、算力成本或用於創建GPT-4 的硬體或方法等資訊。

GPT-4技術細節保密惹爭議,OpenAI首席科學家回應了

例如,一種省流讀GPT-4 論文的結論是:「我們用的Python。」

GPT-4技術細節保密惹爭議,OpenAI首席科學家回應了

更有人打趣道:「我讀到了GPT-4 是基於Transformer 架構的。」

GPT-4技術細節保密惹爭議,OpenAI首席科學家回應了

許多AI 領域的成員批評了這個決定,指出它破壞了OpenAI 作為研究型組織的創始精神,並使其他人更難復現其工作。

對GPT-4 封閉模型的大多數初始反應都是負面的,但似乎憤怒已經不能改變其「閉源」的決定:

GPT-4技術細節保密惹爭議,OpenAI首席科學家回應了

#其實對於OpenAI 不開源的批判已經持續了一段時間。連OpenAI 的創始團隊成員馬斯克都公開質疑過其「背離初心」:

GPT-4技術細節保密惹爭議,OpenAI首席科學家回應了

就這件事,讓馬斯克至今仍感到困惑:「我不懂,當初投了近1 億美元的非營利組織怎麼就變成了市值300 億的商業公司呢?」

GPT-4技術細節保密惹爭議,OpenAI首席科學家回應了

Nomic AI 資訊設計副總裁Ben Schmidt 說:「我認為可以停止稱其『Open』了— 介紹GPT-4 的98 頁論文自豪地宣稱他們沒有揭露關於訓練集內容的任何資訊。」

GPT-4技術細節保密惹爭議,OpenAI首席科學家回應了

#還有一些人認為, OpenAI 隱藏GPT-4 細節的另一個原因是法律責任。 AI 語言模型是在龐大的文字資料集上訓練的,許多模型(包括早期的 GPT 系統)都會從網路上抓取訊息,其中一個來源可能包括受版權保護的素材。目前已有幾家公司正被獨立藝術家和圖片網站 Getty Images 起訴。

有些人表示,更重要的是,這會使針對 GPT-4 構成的威脅制定保障措施變得更困難。 Ben Schmidt 也認為,由於無法看到 GPT-4 訓練的數據,很難知道該系統可以在哪裡安全使用並提出修復方案。

「眾所周知,像GPT-4 這樣的神經網路是黑盒子。事實上,它們的操作是不可預測和難以理解的,這是關於是否應該使用它們、在何處使用它們的最重要問題之一。現在OpenAI 正逐步製定一個標準,進一步擴展了這個謎團。」Ben Schmidt 表示。

GPT-4技術細節保密惹爭議,OpenAI首席科學家回應了

OpenAI 首席科學家:開源GPT-4 是不明智的

OpenAI 的首席科學家兼聯合創始人Ilya Sutskever 對上述爭議進行了回應,表示OpenAI 不分享更多GPT-4 細節信息的原因是“害怕競爭和擔心安全”:

“從競爭格局看,外界的競爭很激烈。GPT-4 的開發並不容易,幾乎集聚了所有的OpenAI 力量,經過很長時間的努力才產出了這個東西,而且有很多公司都想做同樣的事情。 」

「安全方面的原因不像競爭方面那樣突出,但它也會改變。這些模型是非常有效率的,而且它們變得越來越有效率。某些時候,如果有人願意,用這些模型造成巨大的傷害將會相當容易。隨著這些能力越來越高,不公開它們是有道理的。」

當被問及「為什麼OpenAI 改變了分享研究成果的方式」,Sutskever 回答說:「坦白說,我們錯了。如果你像我們一樣相信,在某個時候,AI 或AGI 將變得極其強大、令人難以置信,那麼開源就沒有意義。這是一個壞主意,我完全相信在幾年內,每個人都會清楚地認識到開源AI 是不明智的。」

##Lightning AI 執行長、開源工具PyTorch Lightning 的創建者William Falcon 對VentureBeat 表示,自己能從商業角度理解這個決定:「身為一家公司,你完全有權這樣做。」

但他也表示,OpenAI 此舉為更廣泛的社區樹立了一個「壞的模板」,可能會產生有害影響。

關於OpenAI 不共享其訓練資料的原因,Sutskever 的解釋是:「我對此的看法是,訓練資料是技術。我們不公開訓練資料的原因與我們不公開參數數量的原因幾乎相同。」當被問及OpenAI 是否可以明確聲明其訓練資料不包含仿版材料時,Sutskever 沒有回答。

Sutskever 同意 OpenAI 批評者的觀點,即開源模型有助於保障措施的發展。 「如果有更多人研究這些模型,我們就會了解更多,那就更好了,」他說。基於這些原因,OpenAI 向某些學術和研究機構提供了存取其係統的權限。 GPT-4技術細節保密惹爭議,OpenAI首席科學家回應了

接下來,我們期待什麼? 由 GPT-4 引發的熱議預計還會持續一陣,以至於人們可能會忽略一些其他動態。

例如,在昨日鋪天蓋地的討論中,Google的發布就顯得靜悄悄。目前,Google Workspace 中已經全面整合了生成式 AI,更新了生成圖片、簡報、電子郵件、文件等功能。可以想像的是,這將是一次生產力的大提升。

###接下來,人們可以期待的還有很多:不久之後,微軟CEO 薩蒂亞・納德拉將親自登台演講,介紹微軟和OpenAI 的更多合作,例如基於GPT-4 的Office 套件。 ########################### 來源:https://www.theinformation.com/articles/microsoft-rations-access-to- ai-hardware-for-internal-teams###################讓我們拭目以待。 ######

以上是GPT-4技術細節保密惹爭議,OpenAI首席科學家回應了的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述:
本文轉載於:51cto.com。如有侵權,請聯絡admin@php.cn刪除