最新爆料！百度文心大模型4.0：萬卡訓練史上最大參數模型，最快下週見

昨天，財聯社獨家爆料百度的文心大模型4.0正在加緊訓練，已經接近可發布狀態。一直以來，大家都對文心一言的訊息都會感到好奇。今天我們也扒到了更多關於文心4.0的消息，涉及了底層架構、基礎設施、訓練數據集、成本等關鍵信息，有相當高的可信度！
先說核心結論：
1、昨天的爆料基本上屬實。目前了解到，文心大模型4.0實際上已經在小流量測試。
2、文心4.0參數量大於所有已公開發布參數的LLM，也是國內首次使用萬卡集群訓練的大模型。
3、推理成本相比文心3.5增加很多，據傳大概是8-10倍！ （大模型真的很費錢！）
如果這些爆料都是真的，那這會是百度，甚至國內大模型趕上GPT-4的一個重大的節點。
接下來我們來看看爆料的細節。
萬卡集群訓練的史上最大參數模型？
根據我們拿到的消息，文心大模型4.0的參數規模大於目前所有公開發布參數的LLM，這意味著文心大模型4.0的參數規模預計能突破萬億級別。
單看這個參數量，很多人會覺得還好，畢竟根據目前揭秘的信息，GPT-4的參數量已經在1.8萬億左右。但爆料的人進一步表示，文心大模型4.0仍然是一個單一模型，並沒有採用GPT和許多其他大語言模型使用的混合專家模型（MoE）。
之前「天才駭客」喬治・霍茲就爆料，GPT-4之所以採用混合模型，是因為無法讓模型的參數規模超過 2200 億。 OpenAI希望模型變得更好，但如果只是訓練時間更長，效果已經遞減。
所以，如果百度能實現單一模型上的突破，模型能力是否也會有明顯的提升，這個只能等真正發布之後來看了。
這麼大參數量的模型，對算力要求注定不會小。現在的消息是，文心4.0是在萬卡AI集群上訓練出來的，應該也算上是國內首次使用萬卡規模集群進行訓練的大語言模型。
萬卡集群什麼概念，國內之前只有華為、阿里透露已建成萬卡AI集群，但我們都沒看到基於它推出的具體模型。
這說明，萬卡集群就不容易建了，如果用起來發揮最大化作用則更難了。據分析正是因為飛槳的深度聯合，才能有效率地基於萬卡集群訓練起如此規模的模型。
成本激增，已低調面向公眾小流量測試
不僅訓練成本在增加，文心4.0的推理成本也被爆比3.5增加很多，我們還沒拿到具體每千token的推理成本，但據傳大概是此前的8-10倍，這還是在高使用率（MFU）的情況下。如果利用率更低，估計成本還會繼續增加。
不得不說，大模型真的很昂貴。打造領先的底層基礎打模型，就是一場巨頭的遊戲！
最後，根據內部員工的說法，百度實際上已經開始秘密小流量測試文心大模型4.0，有小部分文心一言用戶在使用的已經是最新的模型版本。
不少人認為這個說法比較可靠，也可以從最近技術社群上的一些爆料看出一點端倪。
說不定，你現在在文心一言上提問，用的就是文心大模型4.0了。不知道生成的結果是否能跟GPT-4一戰。
再次強調，以上並非官方確認的訊息，大家自行判斷其準確性。

以上是最新爆料！百度文心大模型4.0：萬卡訓練史上最大參數模型，最快下週見的詳細內容。更多資訊請關注PHP中文網其他相關文章！