發布會現場。 (華為供圖)
【深圳商報訊】(記者 陳姝)人工智慧從大模型逐漸走向超大模型,從單模態走向多模態,資料儲存成為關鍵要素。以存力和算力為中心的大模型時代已經來臨。 7月14日,華為發布大模型時代AI儲存新品,為基礎模型訓練、產業模型訓練、細分場景模型訓練推理提供儲存「最優解」。
華為資料儲存產品線總裁週躍峰表示,企業在開發及實施大模型應用過程中面臨四大挑戰:第一,資料準備時間長,資料來源分散,歸集慢,預處理百TB資料需10天左右;第二,多模態大模型以海量文字、圖片為訓練集,目前海量小檔案的載入速度不足100MB/s,訓練集載入效率低;第三,大模型參數頻繁調優,訓練平台不穩定,平均約2天出現一次訓練中斷,需要Checkpoint機制恢復訓練,故障復原耗時超過一天;最後,大模型實施門檻高,系統搭建繁雜,資源調度難,GPU資源利用率通常不到40% 。
華為針對不同產業、不同場景大模型應用,推出OceanStor A310深度學習資料湖儲存與FusionCube A3000訓/推超融合一體機。其中,OceanStor A310深度學習資料湖存儲,面向基礎/產業大模型資料湖場景,實現從資料歸集、預處理到模型訓練、推理應用的AI全流程海量資料管理。 FusionCube A3000訓/推超融合一體機,面向業界大模型訓練/推理場景,針對百億級模型應用,整合OceanStor A300高效能儲存節點、訓/推節點、交換設備、AI平台軟體與管理運維軟體,為大模型夥伴提供拎包入住式的部署體驗,實現一站式交付。
在接受媒體專訪時,中國工程院院士倪光南表示,數據已成為國家的基礎戰略資源。資料儲存能力(簡稱「存力」)和資訊運算能力(簡稱「算力」)、網路運載能力(簡稱「運力」)都是我國資訊產業發展的核心與基礎,是建立科技強國的戰略支撐。他相信,儲能將成為國家戰略性和基礎性產業,並成為新的國際競爭優勢。
「大模型時代,數據決定AI智能的高度。作為數據的載體,數據存儲成為AI大模型的關鍵基礎設施。」週躍峰在會後接受采訪時表示,中國人工智能產業要高速發展,一定要重視數位化,重視數據和資訊數位化的記錄。數據的準備是實施近期引起轟動的AI大模型時遇到的最大挑戰。根據他的說法,AI大模型的成本主要由算力成本佔了25%,而購買伺服器、資料清洗和預處理等工作的成本佔了22%。可見,資料以及資料的儲存、處理過程變得越來越重要了。這句話的重寫如下:這個重要的地方不僅在於它的資料量增加了,更重要的是在資料處理過程中變得更加複雜了。華為分散式儲存領域副總裁韓振興指出,國內將迎來存力中心的大規模發展,並預測未來將湧現更高效能的儲存產品。
以上是華為發表兩款AI儲存新品的詳細內容。更多資訊請關注PHP中文網其他相關文章!