Sam Altman談OpenAI：面臨GPU短缺恐慌，GPT-3或將開源

自 ChatGPT 問世以來，大模型和 AI 技術就引起全世界的廣泛關注。一方面，人們驚嘆於大模型的湧現能力，另一方面對人工智慧的可控性及未來發展產生擔憂。今年已有包括圖靈獎得主Geoffrey Hinton、Yoshua Bengio 在內的AI 領域專家等眾多業內人士多次聯合警告AI 大模型將引發一系列風險，甚至有人呼籲叫停GPT-4 後續AI 大模型的研發。

OpenAI 作為 ChatGPT、GPT-4 等大模型背後的公司，無疑地被推上了風口浪尖。 OpenAI 的 CEO Sam Altman 近期正在全球巡迴演講，旨在消除人們對人工智慧的「恐懼」，並聽取 OpenAI 產品的開發人員和用戶的意見。

根據《Fortune》報道，5 月Sam Altman 與一些開發人員和新創公司創辦人閉門會面，並講述了OpenAI 的路線圖和麵臨的挑戰。這場閉門會的參與者之一 ——Humanloop 的共同創辦人兼 CEO Raza Habib 最近在一篇部落格中提及了 OpenAI 的產品規劃和發展瓶頸。

原始部落格現已刪除，但有網友上傳了部落格快照（副本），我們來看看部落格的具體內容：

##OpenAI 現在面臨的最大問題是受限於GPU

目前OpenAI 面臨非常嚴峻的GPU 限制，這也延遲了他們一些短期計畫的實施。近來，客戶投訴最多的是關於 API 的可靠性和速度問題。 Sam 承認了這個問題，並解釋說客戶抱怨的大部分問題是由於 GPU 短缺造成的。

在處理文字方面，更長的 32k 上下文還不能向更多人推出。現在OpenAI 還沒有完全克服注意力機制的O (n^2) 擴展問題，雖然OpenAI 似乎很快就能實現100k-1M token 上下文視窗（在今年內）文字處理，但更大的文字處理視窗需要進一步的研究突破。

不僅如此，目前，微調 API 也受到 GPU 供應的限制。 OpenAI 尚未使用像 Adapters 或 LoRa 這樣的高效能微調方法，因此微調運作和管理起來運算都非常密集。 Sam 透漏更好的微調技術將在未來推出，他們甚至可能提供一個社群專門研究模型。

此外，專用容量提供也受到 GPU 供應的限制。 OpenAI 也提供專用容量，為客戶提供一個私有的模型副本。要使用此服務，客戶必須願意預先承諾支出 10 萬美元。

OpenAI 的近期路線圖

在交談中，Sam 分享了OpenAI API 的近期路線圖，主要分兩個階段：

#2023 的路線：

• OpenAI 的首要任務是推出更便宜、更快的GPT-4—— 總的來說，OpenAI 的目標是盡可能降低智慧成本（the cost of intelligence），因此隨著時間的推移，API 的成本將會降低。
• 更長的上下文視窗 —— 在不久的將來，上下文視窗可能高達 100 萬個 token。
• 微調 API－ 微調 API 將擴展到最新的模型，但其確切形式將由開發人員決定。
• 狀態 API—— 現在呼叫聊天 API 時，你必須反覆地通過相同的會話歷史，並一次又一次地為相同的 toke 進行支付。將來版本的 API 可以記住會話歷史記錄。
• 2024 年路線：
• 多模態—— 這是作為GPT-4 版本的一部分進行演示的，但在更多GPU 上線之前不能擴展到所有人。

外掛程式沒有PMF，也不會很快出現在API 中

#很多開發人員都對透過API 存取ChatGPT 外掛程式感興趣，但Sam 說他認為這些插件短期內不會發布。除了瀏覽之外，插件的使用顯示他們還沒有 PMF。 Sam 指出，許多人希望自己的應用程式位於 ChatGPT 之內，但他們真正想要的是應用程式中的 ChatGPT。

除了與類ChatGPT 競爭外，OpenAI 將避免與其客戶競爭

許多開發者表示，當OpenAI 發布新產品時，他們對使用OpenAI API 構建的應用程式感到緊張，因為OpenAI 最終可能會發布與他們競爭的產品。 Sam 表示 OpenAI 不會發布 ChatGPT 以外的更多產品。他說有很多偉大的平台公司都有一個殺手級的應用程序，ChatGPT 將允許他們透過成為自己產品的客戶來使 API 更好。 ChatGPT 的願景是成為一個超級聰明的工作助手，但 OpenAI 不會涉足許多其他 GPT 的用例。

監管是必要的，但開源也是必要的

儘管Sam 主張對未來的模型進行監管，但他不認為現有的模型有危險，並認為對它們進行監管或禁止將是一個巨大的錯誤。他再次強調了開源的重要性，並表示 OpenAI 正在考慮開源 GPT-3。 OpenAI 之所以遲遲未能開源的部分原是因為他們覺得沒多少人和公司有能力妥善管理如此大型的語言模式。

擴展定律仍然存在

最近許多文章都聲稱「巨型人工智慧模型的時代已經結束」。 Sam 表示這並沒有準確地表達他的意思。

OpenAI 的內部數據顯示，擴展定律仍然成立，而且增大模型的規模將繼續提高效能。然而，模型的規模無法一直按照相同的比例增加，因為在短短幾年內，OpenAI 已經使模型規模增加了數百萬倍，繼續這樣做將不可持續。但這並不意味著 OpenAI 將停止努力使模型變得更大，而是意味著它們可能每年增加一倍或三倍的規模，而不是幾個數量級的增長。

擴展模型仍然有效，這一事實對 AGI 的發展具有重要意義。擴展規模的理念是，我們可能已經有建構 AGI 所需的大部分要素，而剩下的大部分工作將採用現有的方法，並將它們擴展到更大的模型和更大的資料集。如果模型擴展時代已經結束，我們到達 AGI 的時間將會更久。擴展定律仍然適用的事實暗示我們會用更短的時間實現 AGI。

以上是Sam Altman談OpenAI：面臨GPU短缺恐慌，GPT-3或將開源的詳細內容。更多資訊請關注PHP中文網其他相關文章！