OpenAI創辦人Sam Altman最新訪談：GPT-3 或開源，縮放法則加速建構AGI

大數據摘要出品

「我們非常缺乏GPU」

在最近的一次訪談中，OpenAI的掌舵人Sam Altman 如此回應主持人提出關於「不滿的便是API的可靠性和速度」。

這次訪談來自人工智慧的新創公司Humanloop 的CEO Raza Habib，他在推特上整理了這次訪談的重點。

推特網址：

https://twitter.com/dr_cintas/status/1664281914948337664

#在這次訪談中，Altman也公佈了最近兩年的GPT計劃，例如2023年的計劃是降低GPT-4的成本，以及提高響應速度，其他還包括：

1.更長的上下文窗口，可能會支援100w的token；

2.微調API，幫助開發人員更好的開發；

3.支援會話狀態的API，即支援會話狀態的API。

2024年的計畫中提到讓GPT-4支持多模態，之所以延後到2024年，就是因為太缺GPU了。

在訪談中，Altman 也提到他們一直在考慮是否開源GPT-3，毋容置疑開源是非常重要的。同時，他也表達了現在的AI模型並沒有那麼危險，雖然對未來的模型進行監管非常重要，但是禁止開發是一個非常大的錯誤觀點。

Raza Habib原本將這次訪談的更多詳細資訊公佈到了Humanloop，但文摘菌今早查看，網頁已經404了。根據國內微博@寶玉xp翻譯，他也提到了關於大模型未來發展的縮放法則：

OpenAI的內部數據表明，模型性能的縮放法則繼續有效，使模型更大將繼續產生性能。 OpenAI已將模型的規模擴大數百萬倍，因此無法繼續維持縮放速度，這種做法在未來將無法持續。這並不意味著OpenAI不會繼續嘗試使模型更大，只是意味著它們可能每年只會增加一倍或兩倍，而不是增加許多個數量級。

縮放繼續有效的事實對AGI開發的時間軸有重要的影響。縮放假設是我們可能已經有了建構AGI所需的大部分零件，剩下的大部分工作將是將現有的方法擴展到更大的模型和更大的資料集。如果縮放的時代結束了，那麼我們可能應該預期AGI會更遠。縮放法則繼續有效強烈暗示了更短的時間線。

顯然，縮放法則是通往AGI的最快路徑。

什麼是縮放法則？

縮放法則，英文名稱Scaling Laws，是一種現象描述，大意是指：語言模型的效果與參數量、資料量、計算量基本上呈平滑的冪定律。

換句話說，隨著模型的參數量（Parameters）、參與訓練的資料量（Tokens）以及訓練過程累積的計算量（FLOPS）的指數性增大， 模型在測試集上的Loss 就線性降低，也意味著模型的效果越好。

圖示：當沒有被其他兩個因素限制時，實證表現與每個單獨因素都呈現冪律關係。

在2022 年，DeepMind 在 ScalingLaw 裡又做了進一步分析。研究透過定量的實驗驗證，語言模型訓練資料大小，應該和模型參數量大小等比放大。在計算總量不變的情況下，模型訓練的效果在參數量和訓練資料量當中有個最優平衡點，曲線下面的最低點是在參數規模和訓練資料量當中有個非常好的折中點。

OpeaAI的成功和GPT-4

OpenAI最初是一個非營利性人工智慧研究實驗室，2016年獲得了薩姆•奧爾特曼和埃隆•馬斯克10億美元的資助。 

2019年OpenAI轉型為獲利性人工智慧研究實驗室，以吸收投資者的資金。

在實驗室支持其研究的資金已所剩無幾的時候，微軟又宣布將在實驗室投資10億美元。

OpenAI推出的GPT系列，每個版本都能引起業界狂歡，在微軟Build 2023開發者大會上，OpenAI的創始人Andrej Karpthy做了演講：State of GPT（GPT的現狀），表示他們一直把大模型當作「人腦」來訓練。

Andrej提到，可以把當前LLM大語言模型比喻為人類思考模式的系統一（快系統），這是相對於反應慢但具有更長線推理的系統二（慢系統）而言。

「系統一是一個快速的自動過程，我認為有點對應於LLM，只是對標記進行抽樣。

系統二是大腦中較慢的、經過深思熟慮的計劃部分。

而prompt工程，基本上是希望讓LLM恢復一些我們大腦中具有的能力。」

Andrej Karpthy也提到，GPT-4 是一個了不起的人工製品，他非常感謝它的存在。它在很多領域都有大量的知識，它可以做數學、程式碼等等，所有這些功能都觸手可及。

而CEO Altman 表示，在早期的時候，GPT-4 非常慢，還有bug，很多事情做得不好。但是，最早期的電腦也是這樣，它們仍然指向了我們生活中將要變得非常重要的東西的道路，儘管需要幾十年的時間才能發展。

如此看來，OpenAI是一家堅持夢想的機構，並且想把事情做到極致的公司。

如同微軟亞洲研究院前副院長、瀾舟科技創辦人周明在一次訪談中所提到的： 

#OpenAI最大的功績是把各方面做到極致，是整合創新的典範。 

世界上有幾類人，有人就是要研究底層創新。有的是在底層創新上做應用，一般的應用是解決單一任務。可以重寫成：另一種做法是實現整合創新，將所有工作、應用和演算法集中在一個大型平台上，從而創造里程碑。 OpenAI 恰好整合創新做得非常好。

參考：

###https://mp.weixin.qq.com/s/p42pBVyjZws8XsstDoR2Jw https://mp.weixin.qq.com/s/zmEGzm1cdXupNoqZ65h7yg https://weibo.com/1727858283/4907695679472174?wm=3333_2001&from=10D593089689309000 5679472174&s_channel=4 https://humanloop.com/blog/openai- plans?cnotallow=bd9e76a5f41a6d847de52fa275480e22###

以上是OpenAI創辦人Sam Altman最新訪談：GPT-3 或開源，縮放法則加速建構AGI的詳細內容。更多資訊請關注PHP中文網其他相關文章！