搜尋
首頁科技週邊人工智慧AI狂飆突進,存力需作先鋒

AI狂飆突進,存力需作先鋒

Jun 03, 2023 pm 08:49 PM
ai突進先鋒

5月30日,在2023中關村論壇成果發表會上,《北京市加速建置具有全球影響力的人工智慧創新策源地實施方案(2023-2025年)》正式發表。 《實施方案》要求,支持創新主體重點突破分散式高效能深度學習架構、大模型新型基礎架構等技術,並著力推動大模型相關技術創新。

這被業界視為中國將強力推動大模型發展的又一力證。事實上,近期從中央各部會到地方省、市,對於發展AI技術,把握大模型機會的政策傾斜度不斷上升,無論是政策出台密度還是整體戰略高度,都達到了驚人的水平。

AI狂飆突進,存力需作先鋒

有理由相信,中國將實現一場以大模型為突破點的AI狂飆突進。自2017年開啟新一代人工智慧發展策略以來,中國將在目前機會窗口中再發展,推動AI產業全面爆發。

我們都知道,抓住AI發展機遇,需要以技術突破與基礎建設為基礎,而提到AI產業的基礎設施,普遍會提到AI晶片、深度學習框架、預訓練大模型,卻常常忽略另一個關鍵問題:大模型將帶來巨大的資料壓力,資料儲存也是AI發展過程中的支柱。

ChatGPT是這一輪AI爆發的引線,而接下來大模型規模化應用帶來的資料難題,其實也早已寫在ChatGPT當中了。

面對這種即將到來的壓力,中國存力準備好了嗎?

從ChatGPT看AI崛起帶來的資料挑戰

#從2018年Google發布BERT,業界開啟了預訓練大模型之路。大模型的特點是訓練資料規模與模型參數龐大,這將為儲存帶來嚴峻考驗,這點在ChaGPT中也展現無疑。

預訓練大模型所謂的“大”,體現在模型的深度學習網路層數多、連結多、參數複雜,以及訓練所用資料集種類更複雜,資料數量更豐富。在深度學習演算法剛誕生時,主流模型只有幾百萬參數,而BERT發佈時模型參數就已經過億,將深度學習推進到了大模型階段。到了ChatGPT這個階段,主流模型已經有數千億參數,甚至業界已經開始規劃一兆個模型。幾年時間裡,AI模型的參數提升數千倍,如此龐大的數據與模型都需要進行存儲,這就成了AI爆發給存儲的第一大考驗。

此外,大家目前會廣泛提到AI大模型採用了全新的模型結構,因此對非結構化資料會有更好的吸收效果與穩健性,這對於AI最終效果非常重要,但也帶來一個衍生問題:我們需要妥善處理儲存和調用海量的非結構化資料。比方說,ChatGPT在升級後加入了識圖等多模態能力,因此其訓練資料也需要在文字基礎上加入大量圖片,再例如自動駕駛車輛,每天要將大量實地測試影片儲存起來作為模型訓練依據。這些非結構化資料的成長帶來了與AI相關資料海量成長的難題,涉及資料儲存和處理方面。

AI狂飆突進,存力需作先鋒

根據統計,目前全球新增數據有80%都是非結構化數據,年複合成長率達38%,因應多元化的數據激增,已成為大模型時代必須克服的困難。

還有一個問題,大模型往往需要頻繁讀取和呼叫資料。 ChatGPT的資料存取使用量達到單月17.6億次,平均反應速度在10秒以內,且AI模型的工作流程包括擷取、準備、訓練、推理四部分,每個階段需要讀寫不同類型的資料。因此,大模型對儲存效能也帶來了要求。

此外,圍繞ChatGPT展開的一系列資料主權、資料保護爭議,也提醒我們AI大模型帶來了資料安全方面新的風險。試想一下,如果不法分子攻擊資料庫,從而令大語言模型產生錯誤訊息欺騙用戶,其危害結果既嚴重且隱蔽。

綜合來看,ChatGPT雖好,但對資料儲存的規模、效能、安全性等方面都提出了挑戰。當我們致力於發展大模型和類ChatGPT應用的時候,儲存這關不得不過。

中國存力,準備好了嗎?

最近幾年,我們都在說算力就是生產力。但有算就要有存,存力的極限,也決定了數位化生產力發展的上限。

那麼,在接下來必然出現的中國大模型狂飆突進中,中國存力是否已經做好準備了呢?很遺憾,從幾個方面來看,今天中國存力的準備依舊不充分,需要進一步升級和發展。我們可以一同來關註一下中國存力存在的幾個問題,看看他們是否對應了大模型帶來的數據壓力。

1.存力規模不足,限制AI產業發展上限

#大模型將帶來大量數據,那麼第一要務就是將這些數據妥善儲存。但在目前階段,中國依舊有著存力不夠,大量資料甚至無法進入儲存階段的問題。從2022年數據來看,中國數據生產量已經達到了驚人的8.1ZB,位居全球第二。但中國存力規模只有1,000EB左右,代表資料可儲存率僅12%,絕大多數資料無法有效保存。當中國已明確數據作為第五生產要素的地位,智能化發展需要依靠數據、充分利用數據,卻有大量數據難以完成保存,這之間的問題不可謂不嚴重。中國仍需維持高速、大規模的存力成長,才能掌握大模型帶來的AI技術發展機會。

2.海量資料衝擊下,管理效率與存取效率低

如前所述,AI大模型所帶來的主要資料挑戰在於管理龐大資料和處理資料擷取儲存的效率低效。提升存取效率,要求資料以高效率、低能耗的方式完成存寫,但目前在中國仍有75%的資料在使用機械硬碟。相對於隨身碟,機械硬碟容量密度低、資料讀取慢、能耗高、可靠性差,相對來說,全快閃記憶體具有高密度、低能耗、高效能、高可靠的一系列優點,但中國全快閃替換依舊有較長的一段路要走。

AI狂飆突進,存力需作先鋒

3.多重資料隱憂,導致儲存安全情勢嚴峻

資料安全問題,已經成為AI公司乃至AI產業迫切關注的問題。在2020年美國的Clearview AI公司發生資料安全事故,造成2,000多家客戶的30億筆資料外洩。這個案例向我們展現了AI產業的資料安全情勢十分嚴峻,我們必須從資料儲存階段開始重視安全。尤其當AI大模型在國計民生中扮演的角色愈發重要,就更需要儲存提升安全能力,以應對各種可能的風險。

客觀來看,中國存力已經維持了較高的發展速度,但在整體規模、全快閃佔比以及技術創新能力上,依舊具有一定程度的不足。一場面向產業智慧化需求與AI大規模落地的儲存升級已經時不時待。

面向智慧時代,儲存產業的機會與方向

#結合ChatGPT所代表的AI大模型帶給儲存的壓力,以及中國存力本身的發展現狀,我們可以很清楚地得出一個結論:中國儲存必須支撐AI崛起,完成大規模的升級。

我們可以清楚地看到儲存產業的發展方向,這些方向的急迫性與廣闊空間,構成了儲存產業的重大機會。

首先,需要擴大存力規模,加速全快閃建置。

全快閃替換機械硬碟的“矽進磁退”,是儲存產業多年來的整體發展趨勢。面對AI崛起的產業機會,中國儲存產業需要加速全快閃替代的實施與落地,最大化發揮出全快閃高效能、高可靠等優勢,以因應AI大模型帶來的資料存用需求。

此外,還必須注意的一點是全快閃分散式儲存的機會正在增加。隨著AI大模型的崛起,非結構化資料的爆發,資料重要性正在顯著提升,同時AI已經深入到大型政企的生產核心,更多企業用戶傾向進行本地化的AI訓練,並且採用基於文件協定的資料存儲,而不是資料放到公有雲平台,這就導致分散式儲存的需求得到提升和加強。

AI狂飆突進,存力需作先鋒

二者結合,持續快速推動儲存產業的全閃化落地,就成為了中國儲存產業發展的核心賽道。

其次,需要提升儲存技術創新,適應AI模型的發展需求。

上文提到,AI帶來的資料考驗不僅是資料規模大,更是資料複雜度與應用流程多樣性的挑戰,因此儲存的先進性必須進一步提升。比如說,為了因應AI頻繁的資料存取需求,儲存的讀寫頻寬和存取效率都需要升級。為了配合AI大模型的資料需求,儲存產業需要全方位的技術升級。

在資料儲存格式方面,傳統的資料格式,例如“檔案”“物件”,最初的設計意圖並不是匹配AI模型的訓練需求,且非結構化資料的資料格式不統一,使得在AI模型在呼叫資料的過程中,會產生大量對檔案格式進行重新理解、對齊的工作,進而造成模型運作效率下降,訓練算力消耗增加。

為此,就需要在儲存側形成新的「資料範式(Data Paradigm)」。以自動駕駛訓練為例,不同類型的資料都參與了資料訓練的進程當中,如果在儲存側採用了新的資料範式,就可以幫助各種資料統一起來,更好地適配到AI模型訓練當中,從而加速自動駕駛車輛的訓練工作。打個比方,如果把AI想像為一種新的動物,它需要吃一種新的飼料,如果把傳統格式的數據餵給它,就會產生消化不良的問題,而新數據範式,就是在存儲側構築完全適合AI的數據,讓「餵食AI」的過程絲滑順暢。

在AI開發工作中,資料管理的工作量佔比龐大,不同資料集之間還會有資料孤島問題,而資料編織技術能夠效應對這些問題。透過數據編織,可以讓儲存內置數據分析能力,把物理邏輯上散佈的數據整合起來,形成全局視圖化的數據調度和流動能力,從而有效管理AI帶來的海量數據,達成數據利用效率的提升。

這些儲存側的技術創新,可以讓資料存力與AI發展形成更緊密的契合關係。

此外,需要將安全能力納入儲存本身,強化主動安全能力。

伴隨著AI發揮的價值越來越大,資料安全問題帶給企業用戶的損失也更多。因此,企業必須提升資料安全能力。其中最重要的一點是要提升資料韌性,讓儲存本身俱有安全能力,從源頭守護資料安全。接下來,更多資料韌性能力將被內嵌到資料儲存產品中,例如勒索偵測、資料加密、安全快照和AirGap隔離區復原特徵等。

值得注意的是,目前業界已經有了以AI大模型崛起,進行儲存全面升級的探索與嘗試。華為儲存透過高品質的全快閃產品,融合先進的儲存技術、內嵌的安全能力,實現了儲存創新與AI發展的緊密契合,相向而行。

整體而言,儲存產業的發展與中國存力的進步,對於AI大模型的落地,乃至千行百業的智慧化升級,都有著舉足輕重的意義。脫離了儲存的發展,AI帶來的資料洪潮將難以妥善化解,AI技術甚至可能由於缺乏資料支撐,變成無本之源,無根之木。

智慧時代的機會與責任,剛好同時擺在了儲存產業面前。在華為等優秀品牌的存力探索下,中國儲存正迎來史無前例的機會,也承擔時代給予的責任。

許多業界專家認為,大語言模型是AI歷史上的“iPhone時刻”,那麼AI技術帶來的存力升級潮,或許也將成為中國儲存產業的里程碑時刻,成為一個黃金時代的序章。

以上是AI狂飆突進,存力需作先鋒的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:搜狐。如有侵權,請聯絡admin@php.cn刪除
AI技能差距正在減慢供應鏈AI技能差距正在減慢供應鏈Apr 26, 2025 am 11:13 AM

經常使用“ AI-Ready勞動力”一詞,但是在供應鏈行業中確實意味著什麼? 供應鏈管理協會(ASCM)首席執行官安倍·埃什肯納齊(Abe Eshkenazi)表示,它表示能夠評論家的專業人員

一家公司如何悄悄地努力改變AI一家公司如何悄悄地努力改變AIApr 26, 2025 am 11:12 AM

分散的AI革命正在悄悄地獲得動力。 本週五在德克薩斯州奧斯汀,Bittensor最終遊戲峰會標誌著一個關鍵時刻,將分散的AI(DEAI)從理論轉變為實際應用。 與閃閃發光的廣告不同

NVIDIA釋放NEMO微服務以簡化AI代理開發NVIDIA釋放NEMO微服務以簡化AI代理開發Apr 26, 2025 am 11:11 AM

企業AI面臨數據集成挑戰 企業AI的應用面臨一項重大挑戰:構建能夠通過持續學習業務數據來保持準確性和實用性的系統。 NeMo微服務通過創建Nvidia所描述的“數據飛輪”來解決這個問題,允許AI系統通過持續接觸企業信息和用戶互動來保持相關性。 這個新推出的工具包包含五個關鍵微服務: NeMo Customizer 處理大型語言模型的微調,具有更高的訓練吞吐量。 NeMo Evaluator 提供針對自定義基準的AI模型簡化評估。 NeMo Guardrails 實施安全控制,以保持合規性和適當的

AI為藝術與設計的未來描繪了一幅新圖片AI為藝術與設計的未來描繪了一幅新圖片Apr 26, 2025 am 11:10 AM

AI:藝術與設計的未來畫卷 人工智能(AI)正以前所未有的方式改變藝術與設計領域,其影響已不僅限於業餘愛好者,更深刻地波及專業人士。 AI生成的藝術作品和設計方案正在迅速取代傳統的素材圖片和許多交易性設計活動中的設計師,例如廣告、社交媒體圖片生成和網頁設計。 然而,專業藝術家和設計師也發現AI的實用價值。他們將AI作為輔助工具,探索新的美學可能性,融合不同的風格,創造新穎的視覺效果。 AI幫助藝術家和設計師自動化重複性任務,提出不同的設計元素並提供創意輸入。 AI支持風格遷移,即將一種圖像的風格應用

Zoom如何徹底改變與Agent AI的合作:從會議到里程碑Zoom如何徹底改變與Agent AI的合作:從會議到里程碑Apr 26, 2025 am 11:09 AM

Zoom最初以其視頻會議平台而聞名,它通過創新使用Agentic AI來引領工作場所革命。 最近與Zoom的CTO XD黃的對話揭示了該公司雄心勃勃的願景。 定義代理AI 黃d

對大學的存在威脅對大學的存在威脅Apr 26, 2025 am 11:08 AM

AI會徹底改變教育嗎? 這個問題是促使教育者和利益相關者的認真反思。 AI融入教育既提出了機遇和挑戰。 正如科技Edvocate的馬修·林奇(Matthew Lynch)所指出的那樣

原型:美國科學家正在國外尋找工作原型:美國科學家正在國外尋找工作Apr 26, 2025 am 11:07 AM

美國科學研究和技術發展或將面臨挑戰,這或許是由於預算削減導致的。據《自然》雜誌報導,2025年1月至3月期間,美國科學家申請海外工作的數量比2024年同期增加了32%。此前一項民意調查顯示,75%的受訪研究人員正在考慮前往歐洲和加拿大尋找工作。 過去幾個月,數百項NIH和NSF的撥款被終止,NIH今年的新撥款減少了約23億美元,下降幅度接近三分之一。洩露的預算提案顯示,特朗普政府正在考慮大幅削減科學機構的預算,削減幅度可能高達50%。 基礎研究領域的動盪也影響了美國的一大優勢:吸引海外人才。 35

所有有關打開AI最新的GPT 4.1家庭的信息 - 分析Vidhya所有有關打開AI最新的GPT 4.1家庭的信息 - 分析VidhyaApr 26, 2025 am 10:19 AM

Openai推出了強大的GPT-4.1系列:一個專為現實世界應用設計的三種高級語言模型家族。 這種巨大的飛躍提供了更快的響應時間,增強的理解和大幅降低了成本

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

Safe Exam Browser

Safe Exam Browser

Safe Exam Browser是一個安全的瀏覽器環境,安全地進行線上考試。該軟體將任何電腦變成一個安全的工作站。它控制對任何實用工具的訪問,並防止學生使用未經授權的資源。

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SAP NetWeaver Server Adapter for Eclipse

SAP NetWeaver Server Adapter for Eclipse

將Eclipse與SAP NetWeaver應用伺服器整合。

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

EditPlus 中文破解版

EditPlus 中文破解版

體積小,語法高亮,不支援程式碼提示功能