OpenAI CEO表示：擴大規模並非進步的唯一方法，巨型AI模型時代或將結束

4月18日訊息，OpenAI的聊天機器人ChatGPT可謂功能強大，引起了人們對人工智慧的極大興趣和投資。但該公司的CEO薩姆·奧爾特曼認為，現有研究策略已經失效，未來的AI進步需要新的思維。

近年來，OpenAI透過將現有的機器學習演算法擴展到以前無法想像的規模，在處理語言方面取得了一系列令人印象深刻的進步。其最近開發的項目是GPT-4，據稱已經使用數萬億字的文字和數千個強大的電腦晶片進行訓練，耗資超過1億美元。

但是，奧特曼表示，未來AI的進步不再依賴於將模型變得更大。在麻省理工學院的一次活動上，他說：「我認為，我們正處於一個時代的盡頭。在（即將過去的）這個時代，模型變得越來越大。現在，我們會在其他方面讓它們變得更好。」

奧爾特曼的表態意味著，開發和部署新AI演算法的競賽出現了出人意料的轉折。自去年11月推出ChatGPT以來，微軟就開始利用這項底層技術在其必應搜尋引擎中加入了聊天機器人，Google也推出了名為Bard的競爭對手。許多人都迫不及待地嘗試使用這種新型聊天機器人來幫助完成工作或個人任務。

同時，許多資金充足的新創公司，包括Anthropic、AI21、Cohere和Character.AI等，正在投入大量資源來建立更大的演算法，以努力趕上OpenAI的腳步。 ChatGPT的初始版本是基於GPT-3構建的，但用戶現在也可以存取功能更強大的GPT-4支援的版本。

奧爾特曼的陳述也暗示，採用將模型擴大並提供更多資料進行訓練的策略後，GPT-4可能是OpenAI最後一項重大成果。不過，他並沒有透露任何可能取代目前方法的研究策略或技術。在描述GPT-4的論文中，OpenAI表示，其估計表明，擴大模型規模的回報正在減少。奧爾特曼說，該公司可以建立的資料中心數量以及建造這些中心的速度也都受到物理限制。

Cohere的聯合創始人尼克·弗羅斯特（Nick Frosst）曾在谷歌從事人工智慧研究，他表示，奧特曼所說的「不斷擴大模型規模並不是無限制的有效解決方案」是正確的。他認為，針對GPT-4和其他transformers類型（編輯組：transformers直譯為轉換器，而GPT是Generative pre-trained transformers的簡寫，意思是基於轉換器的生成式預訓練模型）的機器學習模型，進展不再只是靠擴大規模。

弗羅斯特補充說：「有很多方法可以讓transformers變得更好、更有用，而且很多方法都不涉及為模型增加參數。新的人工智慧模型設計或架構，以及基於人類回饋的進一步調整，都是許多研究人員已經在探索的前進方向。」

在OpenAI的語言演算法家族中，每個版本都由人工神經網路組成，這個軟體的設計靈感來自於神經元之間相互作用的方式，經過訓練後，它可以預測應該跟隨在給定文本字串後面的單字。

2019年，OpenAI發布了其第一語言模型GPT-2。它最多涉及15億個參數，這項指標能夠衡量神經元之間可調整的連接數量的大小。這個數字非常大，這在某種程度上要歸功於OpenAI研究人員的發現，擴大規模使模型變得更加連貫。

2020年，OpenAI推出GPT-2的後繼者GPT-3，模型規模更大，參數高達1750億個。 GPT-3在生成詩歌、電子郵件和其他文本方面具備廣泛能力，這令其他公司和研究機構相信，他們可以將自己的AI模型擴展到與GPT-3類似甚至更大的規模。

去年11月，ChatGPT首次亮相後，表情包製造者和科技專家猜測，當GPT-4問世時，它將是個擁有更多參數、更為複雜的模型。然而，當OpenAI最終宣布新的人工智慧模型時，該公司並沒有透露它有多大，也許是因為規模不再是唯一重要的因素。在麻省理工學院的活動上，奧特曼被問到GPT-4的訓練成本是否有1億美元，他回答：「不只如此。」

儘管OpenAI對GPT-4的規模和內部工作原理保密，但很可能它不再僅僅依賴擴大規模來提高效能。有一種可能性是，該公司使用了名為“強化學習與人類反饋”的方法，用於增強ChatGPT的能力，包括讓人類判斷模型答案的質量，以引導它提供更有可能被判斷為高質量的答案。

GPT-4的非凡能力讓許多專家感到震驚，並引發了關於AI改變經濟潛力的辯論，以及其可能傳播虛假信息和製造失業的擔憂。許多企業家和AI專家最近簽署了一封公開信，呼籲暫停開發比GPT-4更強大的模型6個月，其中包括特斯拉執行長馬斯克。

在麻省理工學院的活動中，奧特曼證實，他的公司目前沒有開發GPT-5。他補充說：「這封公開信的早期版本聲稱OpenAI正在訓練GPT-5。實際上我們並沒有這樣做，短期內也不會。」

以上是OpenAI CEO表示：擴大規模並非進步的唯一方法，巨型AI模型時代或將結束的詳細內容。更多資訊請關注PHP中文網其他相關文章！