首頁  >  文章  >  科技週邊  >  全場景作業系統openEuler以AI賦能予力打造數位基礎設施

全場景作業系統openEuler以AI賦能予力打造數位基礎設施

PHPz
PHPz轉載
2024-01-12 16:54:05815瀏覽

發布 | CSDN(ID:CSDNnews)

大模型的趨勢正在全球席捲,一些產業已經開始基於大模型進行重構。在未來的數位化世界中,人工智慧無疑將扮演重要的角色。透過與不同的基礎技術和產品結合,人工智慧將推動各領域技術的持續創新,作業系統作為核心基礎軟體也不例外。在2023年的作業系統大會和openEuler高峰會上,我們發現openEuler已經提前佈局,引領數位化時代的智慧未來

一直以來,openEuler聚焦根技術的投入,為千行百業建構堅實的軟體根基。目前openEuler系累計裝置量已超過610萬套,成為第一個改變軟體作業系統格局的開源作業系統。根據IDC預測,2023年openEuler系在中國伺服器作業系統市佔率第一,達 36.8%。面向數智未來,openEuler與AI全面結合,打造以數位基礎設施全場景作業系統,提供更多使用者技術便利。

面向智慧新時代

#openEuler使能AI更有效率

在過去的四年中,openEuler社群經歷了快速發展。根據開放原子開源基金會TOC副主席兼openEuler委員會執行總監熊偉的回顧,openEuler社區成立初期,每天只有兩三百名活躍開發者,但現在已經吸引了超過16800名開源貢獻者,並且每天有超過4259名活躍用戶。這些開發者在系統特性、創新和漏洞修復方面提供了大量的幫助。此外,openEuler社群也累積了超過1300個合作企業和合作夥伴

全場景作業系統openEuler以AI賦能予力打造數位基礎設施

熊偉是開放原子開源基金會TOC副主席和openEuler委員會執行總監

當有越來越多的使用者和合作夥伴加入openEuler社群時,openEuler的未來將會朝著何方發展呢?在過去,openEuler有兩個主要技術支柱,即全場景和多樣性算力。隨著大型模型等新技術的不斷發展,openEuler增加了第三個技術支柱,即智慧化。數位化的openEuler將逐步演化為智慧化的openEuler,成為以多元化算力和智慧時代為導向的下一代作業系統

智慧的邊界在持續拓展,作為連結硬體與應用之間的橋樑,作業系統擁抱數智未來,與AI結合是一種必然趨勢。

openEuler技術委員會主席胡欣蔚表示,在當前的硬體趨勢下,越來越多的智慧多樣性算力需要實現高效的協同工作,同時也有越來越多的泛在智慧應用需要快速介入。為了實現這個願景,openEuler希望能實現0門檻、0損耗和0介入的效果。對於普通用戶來說,在部署和安裝智能應用時,希望能夠做到“零”門檻;對於智能應用在多樣性算力上的運行,操作系統應該讓智能算力實現“零”損耗;在智能在應用的日常維運過程中,系統管理員對系統的日常工作應該實現「零」介入

因此,openEuler透過「openEuler for AI」和「AI for openEuler」兩點,實現AI全端使能,打造容器化的、開箱即得即用的方案。

「openEuler for AI」是一種對於生態邊界的拓展,未來openEuler全面增強對於AI的契合度,支援更多主流的智慧應用和語言大模型,實現智慧能力升級。 AI的生態建構並不容易,當下我們可以看到一些 AI 產品、技術生態、基礎設施等各自為戰,但隨著市場的逐漸成熟,AI全端使能是未來發展的一種必然結果。

全端啟用將讓openEuler的使用者在未來使用智慧型應用時,透過openEuler提供的容器化方案開箱即用,同時也可以自動適配硬體環境,達到效能最優。 openEuler的全端啟用還包括兩層意義。首先是對各類應用、模型、工具、框架的支援優化,如AquilaDB等向量資料庫,Llama、ChatGLM等業界流行的大模型,cuda、rocm、openvino等工具鏈,以及PyTorch、TensorFlow等AI框架。此外,由於AI硬體的複雜性,openEuler也針對AI硬體親和等提供了廣泛支持,一系列的升級將會大大提升用戶的AI開發使用效率。

開發者支援方面,openEuler在AI的可用性和適配性方面進行了持續優化。它提供了容器化封裝和一鍵拉取鏡像等功能,使開發者能夠輕鬆部署AI環境,實現零門檻

目前,我們進入多元化算力的時代,軟硬體的共同發展給作業系統調度重新設計的空間。透過 CPU 的SMT架構,給予作業系統預先部署任務的機會,而GPU也可透過硬體warp切換來避免暫停等問題。因此,如何將獨立的異質設備匯聚在一起,統一調配資源,解決算力浪費和異質記憶體程式設計的複雜性是個重要課題。

在傳統意義上,不同的異構算力對於記憶體的管理是完全割裂的,相互之間也很難形成共享。而「openEuler for AI」的另一個重要價值就是異質融合,其核心想法是將獨立的異質設備匯聚在一起,統一調配資源,解決算力浪費嚴重和異質記憶體程式設計複雜兩個問題。透過在openEuler中引入的異構核心管理,可以在CPU和NPU透過共享頁表的方式實現統一編址,使得雙方可以互用內存,達成內存「透明」擴容、超分,這樣可以提升推理場景吞吐量提升50%,並大幅的簡化記憶體管理的需求成本,以往多套記憶體介面簡化為一套,異質驅動程式碼也能從萬行下降到百行。

大模型與作業系統的協同發展成為一種趨勢

#AI 賦能openEuler更聰明

#從今年的技術發展來看,大模型讓更多人看到作業系統新的可能。舉例來看,2023年,微軟宣布將GPT-4大模型嵌入到Windows裡,實現作業系統從圖形交互升級到自然語言交互,這將有望改變沿用近三十年的系統交互方式。 Windows Copilot 將登陸 Windows 11 中的工作列,幫助使用者更輕鬆的查找和變更設置,避免繁瑣選項和操作流程桎梏。

在雲端上,傳統複雜的運維工作也有望被大模型改變。基於大模型實現的雲上故障根因分析和消減措施制定表現出色,得到超過7成運維人員的認可;在任務協同方面,將軟體開放API提供給AI來控製完成複雜任務,實現超出助手和工具的優異表現,這可以讓整體系統價值實現提升。

當大模型、大算力為代表的人工智慧創新技術不斷發展,AI持續加速進入千行百業,作業系統也需要不斷向AI演進。在這一背景下,大模型與OS協同優化已成趨勢,作業系統將出現大變局,數位openEuler將演變為智慧openEuler。

智慧openEuler帶來了系統互動的改變。例如,開發者在日常工作中,可能會使用各種程式語言,但無論哪種語言都很難像我們的母語一樣自然、方便。那麼,是否有可能透過工具實現自然語言和操作系統互動,進而減輕寫腳本、配置參數或調試等方面的工作強度呢? openEuler使用ChatGLM基礎模型,基於大量openEuler的代碼和數據,訓練出EulerCopilot,初步實現代碼輔助生成、問題智慧分析、系統輔助運維等功能,讓openEuler更智慧。 EulerCopilot將會使得人與機器之間的互動發生巨大變化,而這也是「AI for openEuler」的重要改變

如果說「openEuler for AI」帶來了新的生命力,那麼「AI for openEuler」注入了新的活力。基於openEuler社群已累積的技術,EulerCopilot提供使用者更便利的人工智慧能力和豐富的作業入口,使用者可以透過公眾號、WEB介面、SHELL、IDE等方式進行互動。 EulerCopilot整合OS領域的大量知識,可以回答開發者的各類專業問題,自動補齊未完成的程式碼段,甚至能夠完成「系統效能診斷」等訴求,並自動產生診斷報告和調優意見

被令人難以想像的廣闊空間

在數智未來中,openEuler將作為一個平台,不斷將人工智慧的能力輸入到伺服器、雲端、邊緣運算、嵌入式等各種應用場景中,推動各行各業實現數位化升級。當然,實現數智未來需要不同的基礎設施,openEuler開源社區技術委員會委員吳峰光錶示:“在人工智能時代,社區正在朝著智能化協作邁進,我們正在探索如何通過人工智能賦能社區的協作。” openEuler已經建立了基礎設施2.0,支援全球化開發、全場景建置和全鏈路協作,以幫助更多人獲取人工智慧的能力

此外,openEuler的重要發展方向是出海和全球化。吳峰光錶示,openEuler建立之初決定全面全球化,在立足國內做好自主創新之後,就要走向海外匯聚全球開發者,來openEuler社群做原生開發。因此,開放原子基金會和許多基金會組織及上游社區計畫等形成了連接,互相進行版本認證,互相完成專案工作。這樣才能持續匯聚全球開源力量,為世界開源貢獻中國智慧。

由於作業系統(OS)原始碼採用了新的架構,因此需要從SPEC(規範)轉為YAML(一種配置語言),這將有助於建立全場景能力。 YAML的優點是通用性好且門檻低。這意味著更多的開發者能夠使用它,幾乎人人都會使用,並且可以迅速建立大量的使用者群體。作為通用的配置語言,YAML還可以用於打造開箱即用的定制能力,支援任意YAML字段的定制,並適配眾多格式的上游軟體。此外,作業系統還支援分層定制,透過EulerMaker和EulerTest構建面向多場景的軟體

為解決上游軟體推廣給用戶困難以及用戶聲音傳遞給上游不暢的問題,openEuler在基礎設施方面透過應用軟體平台,打通了從上游到用戶的鏈路,實現了真正意義上的全鏈路協作。這顯然不是openEuler的終極形態,預計在2024年5月,openEuler也將發布全新核心的24.03LTS版本,進一步提升全場景能力。以Linux6.6作為內核,實現生態統一。打造全新的EEVDF調度器和folio記憶體管理機制,進一步提升調度和記憶體使用效率,在IO管理、新網路標準支援以及對CXL的支援上有著全面的提升。

為了適應不同的使用場景,24.03LTS版本將提供不同的最佳化升級。在雲端運算場景中,透過CPU聚合調度,可以智慧地將低負載的運算力聚合起來,實現負載與運算力的協同。此外,還將提供openEuler配套的雲端原生最小集發行版,支援一鍵部署。在嵌入式場景中,將發布針對伺服器BMC的原始開源專案MetaBMC,並提供原生內建openEuler的標準化開發板「openEuler派」以及工業機器人框架「openEuler手臂」

在AI領域,openEuler將繼續發展。除了EulerCopilot外,還將實現作業系統的智慧調優,這將對開發者提供很大幫助。透過感知業務特徵,在應用程式運作中動態調整調度優先權、配置參數等最佳化策略,可以實現15%以上效能的場景化提升

極目登高處,有朋遠方來。 AI的發展從來不是一家企業、一個社群就能推動的。而openEuler將透過成立學習小組、制定新的規格等措施來推動產業發展,致力於成為AI領域的領導者。當AI與OS互相成就,未來的開發者將有望創造更大的價值,完成更多的技術創新。

以上是全場景作業系統openEuler以AI賦能予力打造數位基礎設施的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述:
本文轉載於:sohu.com。如有侵權,請聯絡admin@php.cn刪除