GPT-3計畫開源！ Sam Altman自曝急缺GPU，GPT-4多模態能力明年開放

在

聽證會之後，Sam Altman帶著團隊在歐洲開啟了「旅程」。

而在最近的一次訪談中，Altman也沒有藏著掖著，自曝自家AI的一切進展，全得等GPU跟上了再說。

他討論了OpenAI的API，以及產品計劃，引起了許多人的注意。

許多網友紛紛表示，我喜歡Altman的坦誠。

值得一提的是，GPT-4的多模態能力，2024年應該大部分Plus用戶就能上手了，前提還是有足夠GPU才行。

微軟老大哥斥資12億美元給OpenAI建造的超算，還遠遠無法滿足GPT-4運作時所需的算力。畢竟，GPT-4參數據稱有100兆。

另外，Altman也透露，GPT-3也在OpenAI的開源計畫之中。

不知道是不是這次採訪內容透露了太多OpenAI的「機密」，來源文稿目前已被刪除，快點碼了。

劃重點

最新訪談，是來自AI開發平台Humanloop的執行長Raza Habib主持，採訪了Altman以及其他20位開發人員。

這次討論涉及到實際的開發者問題，以及與OpenAI的使命和AI的社會影響相關的更大的問題。

以下是關鍵要點：

1. OpenAI急缺GPU

2. OpenAI的近期路線圖：GPT-4多模態2024年開放

3. 透過API存取ChatGPT外掛近期不會發布

4. OpenAI只做ChatGPT這一「殺手級應用」，目標是讓ChatGPT成為一個超級智慧的工作助理

5. GPT-3在開源計畫中

6. 模型效能的縮放法則繼續有效

接下來，將從6大點介紹Sam Altman究竟說了啥。

OpenAI目前嚴重依賴GPU

訪談的一切主題都是圍繞，「OpenAI太缺GPU了」。

這已經拖延了他們許多的短期計畫。

目前，OpenAI的許多客戶都在抱怨API的可靠性和速度。 Sam Altman解釋道，主要還是GPU太缺了。

OpenAI是英偉達DGX-1超算首位客戶

至於，支援32k tokens的上下文長度還不能推出給更多的人。

由於OpenAI還沒有克服技術上的障礙，看起來他們似乎今年就會有支持100k-1M tokens的上下文，但需要在研究上取得突破。

微調（Fine-Tuning）API也目前受到GPU可用性的限制。

OpenAI還沒有使用像Adapters或LoRa這樣的高效微調方法，因此微調對於運行和管理來說是非常計算密集型的。

不過，未來他們將對微調提供更好的支援。甚至，OpenAI可能會託管一個社群貢獻的模型市場。

最後，專用容量提供也受到GPU可用性的限制。

今年年初，網友爆出OpenAI正在悄悄推出一個新的開發者平台Foundry，讓客戶在專用容量上運行該公司的新機器學習模型。

這款產品就是「為運作較大工作負載的尖端客戶設計」。要使用這項服務，客戶必須願意預付$100k的費用。

然而，從透露的圖片資訊可以看出，實例並不便宜。

運行GPT-3.5的輕量級版本，3個月的委託將花費78,000美元，一年將花費264,000美元。

從另一側面也可以看出，GPU消耗價格不菲。

OpenAI近期路線圖

Altman分享了OpenAI API的暫定近期路線圖：

2023 ：

· 又快又便宜的GPT-4ーー這是OpenAI的首要任務。

總的來說，OpenAI的目標是，盡可能地降低「智慧成本」。因此他們將努力繼續降低 API 的成本。

· 更長的上下文視窗ーー在不久的將來，上下文視窗可能支援高達100萬個tokens。

· 微調API－微調API將擴展到最新的模型，但具體的形式將取決於開發人員真正想要的是什麼。

· 有記憶的API ーー目前大部分token被浪費在上文的傳輸中，將來會有一個能夠記住對話歷史的API版本。

2024：

#· 多模態能力ーーGPT-4發佈時曾示範了強大的多模態能力，但在GPU滿足之前，這項功能還無法拓展到所有人。

外掛程式「沒有PMF」，短期內不會出現在API中

#許多開發者對透過API存取ChatGPT外掛程式非常感興趣，但Sam表示這些插件不會很快發布。

「除了Browsing外，外掛系統還沒有找到PMF。」

他也指出，很多人想把他們的產品放到ChatGPT裡，但其實他們真正需要的是把ChatGPT放到他們的產品裡。

除了ChatGPT，OpenAI不會發布更多產品

OpenAI的每一次動作，都讓開發者們抖三抖。

不少開發人員表示，OpenAI可能發布與他們競爭的產品的時候，對使用OpenAI API建立應用程式感到緊張。

而Altman表示，OpenAI不會在ChatGPT之外發布更多的產品。

在他看來，偉大的公司有一個「殺手級應用程式」，ChatGPT就是要做這個創紀錄的應用。

ChatGPT的願景是成為一個超級智慧的工作助理。 OpenAI不會觸及更多其他GPT的用例。

監管是必要的，但開源也是必要的

雖然Altman呼籲對未來模型進行監管，但他並不認為現有的模型是危險的。

他認為，監管或禁止現有模型將是一個巨大的錯誤。在

訪談中，他重申了自己對開源重要性的信念，並表示OpenAI正在考慮將GPT-3開源。

而現在，OpenAI還沒有開源的部分原因是，他對有多少個人和公司有能力託管，和提供大模型表示懷疑。

模型效能「縮放法則」仍有效

近來，許多文章聲稱，巨型人工智慧模型的時代已經結束。然而，並沒有準確反應Altman原意。

OpenAI的內部資料表明，模型效能的縮放法則（scaling laws）仍然有效，讓模型變大將繼續產生效能。

然而，OpenAI已經在短短幾年內將模型擴大數百萬倍，因此無法持續維持這樣的擴展速度。

這並不意味著OpenAI不會繼續嘗試使模型更大，只是意味著它們可能每年只會增加1倍/2倍，而不是增加多個數量級。縮放法則繼續有效的事實對AGI開發的時間線有重要的影響。

縮放假設是我們可能已經有了建構AGI所需的大部分零件，剩下的大部分工作將是將現有的方法擴展到更大的模型和更大的資料集。

如果縮放的時代結束了，那麼我們可能應該預期AGI會更遠。縮放法則繼續有效強烈暗示了實現AGI時間線會變短。

網友熱評

有網友調侃道，

OpenAI：必須透過法規來保護我們的護城河。 OpenAI又提到了Meta在我們的護城河裡尿尿，我們也應該寓意著我們的模型需要開源。

還有人稱，如果GPT-3真的開源了，像LLMa一樣，需要大約5天的時間在M1晶片上就能運行了。

社群開發人員能夠幫OpenAI解決GPU瓶頸，前提是他們開源模型。沒幾天，開發者就能讓其運作在CPU和邊緣設備。

GPU短缺一事，有人認為是OpenAI資金鏈出了問題，買不起。

然而還有人稱，明顯是缺乏供應。除非晶片製造業發生革命，否則相對於消費性GPU來說，可能總是會出現供應不足的情況。

還有網友懷疑，英偉達的價值還是被低估？計算需求的階梯式變化可能持續數年...

英偉達剛加入萬億美元俱樂部，這樣說來，無限的算力需求或許成就一個世界超越2兆美元的晶片廠。

參考資料：

#https://www.php.cn/link /c55d22f5c88cc6f04c0bb2e0025dd70b

https://www.php.cn/link/d5776aeb3c45adce6f5cb

#

以上是GPT-3計畫開源！ Sam Altman自曝急缺GPU，GPT-4多模態能力明年開放的詳細內容。更多資訊請關注PHP中文網其他相關文章！