星河AI網絡，大模型紀元的運力答案

隨著AI預訓練大模型的價值不斷顯現，且模型規模愈發龐大。產學各界已經形成了這樣一個共識：AI時代，算力就是生產力。

這認知雖然正確，卻並不全面。數位化系統有存、算、網三大支柱，AI技術也是如此。如果拋開儲存和網路談算力，那麼大模型只能獨木難支。尤其是與大模型適配的網路基礎設施，一直以來都沒有得到有效的重視。

面對動輒「萬卡集訓」「萬裡部署」「萬億參數」的AI大模型，網路運力是整個智慧體系中不容忽視的一環。其面臨的挑戰非常突出，也正在等待可以破局的答案。

華為資料通訊產品線總裁王雷

9月20日，華為全聯接大會2023期間舉辦了「星河AI網絡，加速產業智慧化」為主題的數通高峰會。各界代表共同探討了AI網路技術的變革與發展趨勢。會上，華為數據通訊產品線總裁王雷正式發表星河AI網路解決方案。他表示，大模型讓AI更聰明，但訓練一個大模型的成本非常高，同時還要考慮AI人才的成本。因此，在產業智慧化階段，集中建置大算力集群，面向社會提供智算雲服務，才能真正讓人工智慧深入千行萬業。華為發布新一代星河AI網路解決方案，面向智慧時代，打造超高吞吐、長穩可靠、彈性高併發的新型網路基礎設施，協助AI普惠，加速產業智慧化。

藉此機會，我們一起了解大模型崛起，給智算資料中心帶來的網路挑戰，以及華為星河AI網路為何是這些問題的最優解。

當談到AI時代時，一個模型、一條數據、一個計算單元可以被視為一道星光。然而，只有將它們有效率且穩定地連結在一起，才能形成一個輝煌的智慧世界

大型模型的爆發引發了隱藏的網路激流

#我們知道，AI模型分為訓練和推理部署兩個階段。伴隨著預訓練大模型的興起，這兩個階段也分別發生了巨大的AI網路挑戰。

首先是在大模型的訓練階段。伴隨著模型規模與資料參數愈發龐大，大模型訓練開始需要千卡甚至萬卡規模的計算集群來完成。這也意味著大模型訓練必然發生在具備AI算力的資料中心當中。

在目前階段，智算資料中心的成本非常高昂。根據產業數據，每建設100P算力的集群，成本達4億人民幣。以某國際知名大模型為例，其訓練過程中每天的算力花費達到70萬美元

如果資料中心網路的連結能力不順暢，導致大量的運算資源在網路傳輸過程中損失，那麼給資料中心和AI模型帶來的損失是無法估量的。相反，如果在相同的運算能力規模下，叢集訓練的效率更高，那麼資料中心將會獲得龐大的商機。而負載率和其他網路因素直接決定了AI模型的訓練效率。另一方面，由於AI算力集群的規模不斷擴大，其複雜性也相應增加，因此故障發生的機率也在提高。建構一個長期穩定可靠的群集網路是資料中心提高投入產出比的重要支點

在資料中心之外，AI模型的推理部署場景中，同樣也可以看到AI網路的價值體現。大模型的推理部署主要依賴雲端服務，而雲端服務商必須在算力資源有限的情況下，盡量服務更大的客戶，以此實現大模型的商業價值最大化。如此一來，用戶越多整個雲端網結構就會越複雜。如何能夠提供長期穩定的網路服務，成為了雲端運算服務商新的挑戰。

除此之外，在AI推理部署的最後一公里，政企用戶面臨網路品質提升的需求。在真實場景下，1%的連結丟包會導致TCP效能下降50倍，也就是100Mbps的寬頻，實際能力不足2Mbps。因此，提升應用場景本身的網路能力，才可以確保AI算力順暢流動，實現真正的普惠AI。

由此不難看出，在AI大模型的誕生、傳輸、應用全流程中，每個環節都面臨網路升級的挑戰與需求。大模型時代的運力難題，亟待破局解題。

智慧時代的網路破局思路可以從星光到星河延伸

大模型的興起帶來了一個多環節、全流程的網路難題。因此，我們必須採取系統性的方法來解決這個挑戰

華為提出了一種面向智算雲端服務的新型網路基礎設施，該設施需要支援「訓練高效能」、「算力不停歇」和「普惠AI服務」這三個能力。這三個能力涵蓋了AI大模型從訓練到推理部署的全場景。華為不僅關注單一需求的滿足和單一技術的升級，而是全面推進AI網路的迭代，為產業帶來了獨特的突破思路

具體而言，AI時代的網路基礎設施需要包含以下能力：

首先，在訓練場景網路需要最大化發揮出AI運算叢集的價值。 透過打造具備超大規模聯接能力的網絡，實現AI大模型的訓練高效能。

其次，為了保障AI任務的穩定可持續，需要打造長穩可靠的網絡能力，保障月級訓練不中斷，同時要有秒級的穩定定界、定位和回复，盡可能降低訓練中斷時常。這就是算力不停歇的能力建構。

再次，AI推理部署過程中，要求網絡具有彈性高並發的特質，可以智能編排海量用戶流，提供最佳的AI落地體驗，同時可以對抗網絡劣化衝擊，保障不同區域間AI算力順暢流動，這也實現了「普惠AI服務」的能力建構。

華為最終推出了星河AI網路解決方案，秉承了這一破局思路。這個解決方案將分散的AI技術整合在一起，透過強大的運算能力，形成了一個星河般的網路

星河AI網絡，給大模型紀元一個運力答案

華為全聯接大會2023的期間，華為分享了以大算力、大存力、大運力加速AI大模型打造的發展願景。新一代華為星河AI網路解決方案，就可以說是面向智慧時代，華為為大模型帶來的運力答案。

對於智慧資料中心來說，華為星河AI網路是以網強算的最優解。

其所具備的超高吞吐網路特質，可以針對智算中心的AI集群提供提升網路負載率，強化訓練效率的重要價值。具體來說，星河AI網路智算交換器具有業界最高密400GE和800GE連接埠能力，僅2層交換網路就可以實現1萬8000卡的無收斂集群組網，從而支援超萬億參數的大模型訓練。群組網路層次一旦減少，就意味著資料中心能夠節省了大量的光模組成本，同時提高對網路風險的可預測性，獲得更穩定的大模型訓練能力。

星河AI網路能夠支援網路級負載平衡NSLB，將負載率從50%提升到98%，相當於實現了AI集群的超頻運行，進而提高了訓練效率20%，達到了高效訓練的預期

對於雲端服務廠商來說，星河AI網路可以提供穩定可靠的算力保障。

在DCI算間互聯場景中，此技術能夠提供多路徑智慧調度等功能，自動辨識並主動適應業務高峰流量的衝擊。它可以從百萬個資料流中識別大小流，並合理地分配到10萬個路徑，以實現網路的零擁塞，並為高並發的智算雲服務提供彈性保障

對於政企用戶來說，星河AI網路可以應付網路劣化問題，保障普惠化的AI算力。

其能夠在DCA入算場景支援彈性抗劣化能力，採用Fillp技術優化TCP協議，可以在1%丟包率的情況下將頻寬負載率從10%提升至60%，從而保障從都會圈到偏遠地區的算力順暢流動，加速AI服務的普惠應用。

如此一來，大模型從訓練到部署各個環節的網路需求都被打通。從智算中心到千行萬業，都有了以網強算的發展支點。

在一個智慧化的時代，由大模型開啟的科技新紀元剛開始。星河AI網路為智慧時代提供了關於運力的答案

以上是星河AI網絡，大模型紀元的運力答案的詳細內容。更多資訊請關注PHP中文網其他相關文章！