重磅內幕：OpenAI即將開源新模型！開源社群的繁榮，全靠大廠「施捨」？

就在剛剛，根據The Information的最新爆料，OpenAI即將發布一款全新的開源大語言模型。

雖然目前還不清楚，OpenAI是否打算利用即將開源的模型，來搶佔Vicuna或其他開源模型的市場份額。

但幾乎可以肯定的是，新模型的能力大機率無法與GPT-4甚至GPT-3.5競爭。

畢竟，270億美元的估值也決定了，OpenAI最先進的模型將會被用於商業目的，儘管前兩個版本的GPT都是開源的。

對此，OpenAI的發言人沒有回應置評請求。

羊駝家族開源大爆發

十天前，Google的內部文件洩漏。在這篇名為《我們沒有護城河，OpenAI也沒有》的文章裡，作者沉痛控訴了開源對於Google和OpenAI的沉重打擊。

的確，在這次軍備競賽中，Google和OpenAI似乎都不是贏家，因為開源社群正在吃掉屬於它們的「利益」 。

ChatGPT一出，引爆了全球的LLM革命。然而，OpenAI不Open，很多公司和開發者只能看著乾著急。

此時，Meta站出來發布了LLaMA，為全世界開發者謀了一把福利。

本來呢，Meta承諾的是LLaMA會對非商用的研究用例開源，可是誰能想到，僅在發布一周後，LLaMA的權重忽然在4chan上洩漏了，瞬間就引發了數千次下載。

這場「史詩級洩漏」，直接讓開源LLM領域變了天。短短幾週內，各種ChatGPT平替就以迅雷不及掩耳之勢呈現爆炸性成長。

Alpaca、Vicuna、Koala、ChatLLaMA 、FreedomGPT、ColossalChat……簡直堪稱是「羊駝家族」大爆炸。

其實，早在羊駝之前，開源模型就曾經破滅過OpenAI的野心。

當時，剛發表的Dall-E 2憑藉著驚豔的文生圖效果，在網路上引起了不小的轟動。

然而，當OpenAI還在試圖兜售API時，一款開源替代突然橫空出世－Stable Diffusion。

隨著Stable Diffusion的快速崛起，Dall-E 2也很快就被開發者們拋在腦後了。

開源大模型，要顛覆矽谷大廠？

UC Berkeley的電腦教授Ion Stoica正是使用Meta的研究開發Vicuna的學者之一。

為了提高Vicuna的能力，Stoica和同事們正在努力增加模型中的計算數量，這將有助於處理涉及推理的任務，例如寫程式碼。

開發Vicuna的是一個柏克萊的團隊，每年的預算為數百萬美元，其中約50萬美元來自包括微軟、Google和亞馬遜在內的上市公司。

#

UC Berkeley的電腦教授Ion Stoica表示，現在的免費AI模型，在性能上已經「相當接近」谷歌和OpenAI的專有模型了，毫無疑問，大多數開發者最終都會選擇免費模型。

一方面，開源模型可以讓開發者使用自己的資料來解決特定的問題。

另一方面，像Vicuna這種模型的訓練成本甚至可以低至幾百美元，而且還不用向大廠支付昂貴的使用費。

https://www.php.cn/link/4d8bd3f7351f4fee76ba17594f070ddd

#如果Stoica的看法正確，開源AI必將顛覆Google、OpenAI、微軟等出售專有模型使用權的大廠的商業計劃。

Vicuna的品質和開源AI的寒武紀大爆發，讓Google工程師Luke Sernau警告同事，Google在努力追趕OpenAI時，太過關注專有軟體了。

如果免費、高品質的平替沒有使用限制，誰會去付費使用帶有條條框框的Google產品呢？開源AI的發展正在超越我們，Google應該在開源社群中建立自己的領導地位，並放棄對我們模型的部分控制。

這份備忘錄迅速在整個產業中引起了共鳴——即使Sernau或許高估了開源AI的能力，低估了它們的成本和風險，但大多數從業者都同意，Meta非常有可能從中獲益。

例如，Meta在內部會使用AI模型進行內容推薦和廣告定位，當開發者改進Meta的模型時，Meta就可以把這些改進納入自己內部的AI。

Meta CEO小札對此籌謀已久。

4月，在他與分析師的一次電話會議中，他曾這樣談到公司的策略—

如果產業能夠在我們使用的基礎工具上達成標準化，那麼我們就能從其他人的改進中受益，這樣會更好。

Google倒是沒有完全採用專有的方式來處理AI軟體。

早在2020年，Google就發布了一個開源語言模型T5，讓開發者可以建立能夠執行翻譯和摘要任務的軟體。隨後，Google又發布了一個更先進的Flan-T5。

但是，根據Stoica和其他從業者的說法，Meta發布的軟體能夠在谷歌模型的基礎上做出顯著改進，這讓開發者選擇Meta模型的可能性大大增加了。

不過，Stoica表示，Google在開源軟體方面仍有兩個優勢。

1. 如果Google利用其不向外部開放的用戶數據，模型在某些專業領域（如內容推薦）的表現可能會更好。

不過，Google發言人表示，公司並沒有在現有用戶資料上訓練其基礎模型。

2. 搜尋公司在管理大規模電腦基礎設施方面的專長，意味著它能夠以更低的成本來運行模型，包括為雲端客戶提供服務。

同時，OpenAI在收集數百萬人與ChatGPT互動方式的資料上，已經搶得了先機，這會更有助於OpenAI改進AI軟體，更不用提它和微軟的合作協定.

開源的繁榮，是大廠的「施捨」？

不過，這種建立在開源基礎上的繁榮，是不穩定的。

目前大多數的開源，仍然依賴資金雄厚的大公司發布的巨型模型。如果OpenAI和Meta決定關閉業務，繁榮的開源社區，可能就會變得蕭條。

例如，現在許多開源平替是基於Meta的LLaMA建構的。

而其他模型使用的是名為Pile的大型公共資料集，由開源非營利組織EleutherAI整理。

EleutherAI之所以存在，是因為OpenAI的開放性意味著一群開發者能夠逆向了解GPT-3是如何製作的，然後在空閒時間裡創建自己的模型。

但一切都可能改變。

OpenAI不再Open，Meta也在考慮限制開源，防止新創公司利用開源程式碼做壞事。

Meta AI的執行董事Joelle Pineau表示，現在向外部人員開放代碼是正確，但他並不確定，在未來五年內Meta還會採用相同的策略。

如果這種Close的趨勢持續下去，那麼不僅開源社群會被拋棄，下一代的AI突破也會重新回到那些最大、最不差錢的AI實驗室手中。

顯然，AI大模型的製造和使用方式的未來，正處於一個十字路口。

如果OpenAI曾經吝嗇，就不會有如今的開源盛況

其他人也在權衡，這種開源的自由競爭帶來的回報更大，還是風險更大。

就在Meta AI發布LLaMA的同時，Hugging Face推出了一個門禁機制，下載平台上的模型之前，用戶必須申請訪問並獲得批准，這是為了限制那些有合法理由的人。

「我並不是一個開源的佈道者，」Hugging Face的首席倫理科學家Margaret Mitchell說。 「我能看到不開源的意義。」

大模型廣泛使用的一個弊端，就是可能造成AI色情產品的氾濫。

Mitchell曾在Google工作，並創立了AI道德團隊，她對於模型被濫用的風險十分了解。因此，她贊成Meta AI以有控制的方式發布模型。

同時，OpenAI也在關閉水龍頭。 GPT-4發佈時，並未公佈架構（包括模型大小）、硬體、訓練計算、資料集建置、訓練方法等細節，理由是「鑑於像GPT-4這樣的大規模模型的競爭格局和安全影響」 。

這種限制反應了OpenAI心態上的變化。共同創辦人兼首席科學家Ilya Sutskever表示，OpenAI過去的開放性是個錯誤。

OpenAI的政策研究員Sandhini Agarwal說：「以前，如果某樣東西是開源的，也許一小群修理工會關心。但現在，整個環境已經改變。開源真的可以加速發展，導致競爭。」

時間倒回三年前，如果OpenAI在公佈GPT-3的細節時，就秉持著同樣的原則，那就不會有EleutherAI的出現，也就不會有蓬勃的開源創新。

今天，EleutherAI在開源生態系統中發揮著舉足輕重的作用。 Pile被用來訓練多個開源項目，包括Stability AI的StableLM。

但隨著GPT-4、5、6被鎖死，開源社群可能會再次被落在幾家大公司後面。

他們會被困在上一代模型中，如果想取得進步，只能閉門造車。

以上是重磅內幕：OpenAI即將開源新模型！開源社群的繁榮，全靠大廠「施捨」？的詳細內容。更多資訊請關注PHP中文網其他相關文章！