首页 >科技周边 >人工智能 >全场景操作系统openEuler以AI赋能予力打造数字基础设施

全场景操作系统openEuler以AI赋能予力打造数字基础设施

PHPz
PHPz转载
2024-01-12 16:54:05844浏览

发布 | CSDN(ID:CSDNnews)

大模型的趋势正在全球范围内席卷,一些行业已经开始基于大模型进行重构。在未来的数字化世界中,人工智能无疑将扮演重要的角色。通过与不同的基础技术和产品结合,人工智能将推动各个领域技术的持续创新,操作系统作为核心基础软件也不例外。在2023年的操作系统大会和openEuler峰会上,我们发现openEuler已经提前布局,引领着数字化时代的智能未来

一直以来,openEuler聚焦根技术的投入,为千行百业构建坚实的软件根基。目前openEuler系累计装机量已超过610万套,成为首个改变软件操作系统格局的开源操作系统。据IDC预测,2023年openEuler系在中国服务器操作系统市场份额第一,达到 36.8%。面向数智未来,openEuler与AI全面结合,打造面向数字基础设施全场景操作系统,为更多用户提供技术便捷。

面向智能新时代

openEuler使能AI更高效

在过去的四年中,openEuler社区经历了快速发展。根据开放原子开源基金会TOC副主席兼openEuler委员会执行总监熊伟的回顾,openEuler社区成立初期,每天只有两三百名活跃开发者,但现在已经吸引了超过16800名开源贡献者,并且每天有超过4259名活跃用户。这些开发者在系统特性、创新和漏洞修复方面提供了大量的帮助。此外,openEuler社区还积累了超过1300个合作企业和合作伙伴

全场景操作系统openEuler以AI赋能予力打造数字基础设施

熊伟是开放原子开源基金会TOC副主席和openEuler委员会执行总监

当有越来越多的用户和合作伙伴加入openEuler社区时,openEuler的未来将会朝着何方发展呢?在过去,openEuler有两个主要技术支柱,即全场景和多样性算力。随着大型模型等新技术的不断发展,openEuler增加了第三个技术支柱,即智能化。数字化的openEuler将逐步演化为智能化的openEuler,成为面向多样性算力和智能时代的下一代操作系统

智能的边界在持续拓展,作为连接硬件和应用之间的桥梁,操作系统拥抱数智未来,与AI结合是一种必然趋势。

openEuler技术委员会主席胡欣蔚表示,在当前的硬件趋势下,越来越多的智能多样性算力需要实现高效的协同工作,同时也有越来越多的泛在智能应用需要快速介入。为了实现这一愿景,openEuler希望实现0门槛、0损耗和0介入的效果。对于普通用户来说,在部署和安装智能应用时,希望能够做到“零”门槛;对于智能应用在多样性算力上的运行,操作系统应该让智能算力实现“零”损耗;在智能应用的日常运维过程中,系统管理员对系统的日常工作应该实现“零”介入

因此,openEuler通过“openEuler for AI”和“AI for openEuler”两点,实现AI全栈使能,打造容器化的、开箱即得即用的方案。

“openEuler for AI”是一种对于生态边界的拓展,未来openEuler全面增强对于AI的契合度,支持更多主流的智能应用和语言大模型,实现智能能力升级。AI的生态构建并不容易,当下我们可以看到一些 AI 产品、技术生态、基础设施等各自为战,但随着市场的逐渐成熟,AI全栈使能是未来发展的一种必然结果。

全栈使能将让openEuler的用户在未来使用智能应用时,通过openEuler提供的容器化方案开箱即用,同时也可以自动适配硬件环境,达到性能最优。openEuler的全栈使能还包括两层含义。首先是对各类应用、模型、工具、框架的支持优化,如AquilaDB等向量数据库,Llama、ChatGLM等业内流行的大模型,cuda、rocm、openvino等工具链,以及PyTorch、TensorFlow等AI框架。此外,由于AI硬件的复杂性,openEuler也针对AI硬件亲和等提供了广泛支持,一系列的升级将会极大地提升用户的AI开发使用效率。

开发者支持方面,openEuler在AI的可用性和适配性方面进行了持续优化。它提供了容器化封装和一键拉取镜像等功能,使开发者能够轻松地部署AI环境,实现零门槛

当前,我们进入多样性算力的时代,软硬件的共同发展给操作系统调度重新设计的空间。通过 CPU 的SMT架构,给操作系统预先部署任务的机会,而GPU也可通过硬件warp切换来避免暂停等问题。因此,如何将独立的异构设备汇聚在一起,统一调配资源,解决算力浪费和异构内存编程的复杂性是个重要课题。

在传统意义上,不同的异构算力对于内存的管理是完全割裂的,相互之间也很难形成共享。而“openEuler for AI”的另一个重要价值就是异构融合,其核心思路是将独立的异构设备汇聚在一起,统一调配资源,解决算力浪费严重和异构内存编程复杂两个问题。通过在openEuler中引入的异构内核管理,可以在CPU和NPU通过共享页表的方式实现统一编址,使得双方可以互用内存,达成内存“透明”扩容、超分,这样可以提升推理场景吞吐量提升50%,并极大的简化内存管理的需求成本,以往多套内存接口简化为一套,异构驱动代码也能从万行下降到百行。

大模型与操作系统的协同发展成为一种趋势

AI 赋能openEuler更智能

从今年的技术发展来看,大模型让更多人看到操作系统新的可能。举例来看,2023年,微软宣布将GPT-4大模型嵌入到Windows里,实现操作系统从图形交互升级到自然语言交互,这将有望改变沿用近三十年的系统交互方式。Windows Copilot 将登陆 Windows 11 中的任务栏,帮助用户更加轻松的查找和变更设置,避免繁琐选项和操作流程桎梏。

在云上,传统复杂的运维工作也有望被大模型改变。基于大模型实现的云上故障根因分析和消减措施制定表现出色,得到超过7成运维人员的认可;在任务协同方面,将软件开放API提供给AI来控制完成复杂任务,实现超出助手和工具的出色表现,这可以让整体系统价值实现提升。

当大模型、大算力为代表的人工智能创新技术不断发展,AI持续加速进入千行百业,操作系统也需要不断向AI演进。在这一背景下,大模型与OS协同优化已成趋势,操作系统将出现大变局,数字openEuler将演化为智慧openEuler。

智慧openEuler帶來了系統互動的變革。例如,開發者在日常工作中,可能會使用各種編程語言,但無論哪種都很難像我們的母語一樣自然、便捷。那麼,是否有可能通過工具實現自然語言和操作系統互動,進而減輕寫腳本、配置參數或者調試等方面的工作強度呢?openEuler使用ChatGLM基礎模型,基於大量openEuler的代碼和數據,訓練出EulerCopilot,初步實現代碼輔助生成、問題智能分析、系統輔助運維等功能,讓openEuler更智能。EulerCopilot將會使得人和機器之間的互動發生巨大變化,而這也是「AI for openEuler」的一項重要改變

如果说“openEuler for AI”带来了新的生命力,那么“AI for openEuler”注入了新的活力。基于openEuler社区已积累的技术,EulerCopilot为用户提供更便捷的人工智能能力和丰富的作业入口,用户可以通过公众号、WEB界面、SHELL、IDE等方式进行互动。EulerCopilot集成OS领域的海量知识,可以回答开发者的各类专业问题,自动补齐未完成的代码段,甚至能够完成“系统性能诊断”等诉求,并自动生成诊断报告和调优意见

被令人难以想象的广阔空间

在数智未来中,openEuler将作为一个平台,不断将人工智能的能力输入到服务器、云端、边缘计算、嵌入式等各种应用场景中,推动各行各业实现数字化升级。当然,实现数智未来需要不同的基础设施,openEuler开源社区技术委员会委员吴峰光表示:“在人工智能时代,社区正在朝着智能化协作迈进,我们正在探索如何通过人工智能赋能社区的协作。”openEuler已经构建了基础设施2.0,支持全球化开发、全场景构建和全链路协作,以帮助更多人获取人工智能的能力

此外,openEuler的重要发展方向是出海和全球化。吴峰光表示,openEuler建立之初就决定全面全球化,在立足国内做好自主创新之后,就要走向海外汇聚全球开发者,来openEuler社区做原生开发。因此,开放原子基金会和很多基金会组织及上游社区项目等形成了连接,互相进行版本认证,互相完成项目工作。这样才能持续汇聚全球开源力量,为世界开源贡献中国智慧。

由于操作系统(OS)源代码采用了新的架构,因此需要从SPEC(规范)转为YAML(一种配置语言),这将有助于构建全场景能力。YAML的优点是通用性好且门槛低。这意味着更多的开发者能够使用它,几乎人人都会用,可以迅速建立起大量的用户群体。作为通用的配置语言,YAML还可以用于打造开箱即用的定制能力,支持任意YAML字段的定制,并适配众多格式的上游软件。此外,操作系统还支持分层定制,通过EulerMaker和EulerTest构建面向多场景的软件

为解决上游软件推广给用户困难以及用户声音传递给上游不畅的问题,openEuler在基础设施方面通过应用软件平台,打通了从上游到用户的链路,实现了真正意义上的全链路协作。这显然不是openEuler的终极形态,预计在2024年5月,openEuler还将会发布全新内核的24.03LTS版本,进一步提升全场景能力。以Linux6.6作为内核,实现生态统一。打造全新的EEVDF调度器和folio内存管理机制,进一步提升调度和内存使用效率,在IO管理、新网络标准支持以及对CXL的支持上有着全面的提升。

为了适应不同的使用场景,24.03LTS版本将提供不同的优化升级。在云计算场景中,通过CPU聚合调度,可以智能地将低负载的计算力聚合起来,实现负载与计算力的协同。此外,还将提供openEuler配套的云原生最小集发行版,支持一键部署。在嵌入式场景中,将发布针对服务器BMC的原创开源项目MetaBMC,并提供原生内置openEuler的标准化开发板“openEuler派”以及工业机器人框架“openEuler臂”

在AI领域,openEuler将继续发展。除了EulerCopilot外,还将实现操作系统的智能调优,这将对开发者提供很大帮助。通过感知业务特征,在应用运行中动态调整调度优先级、配置参数等优化策略,可以实现15%以上性能的场景化提升

极目登高处,有朋远方来。AI的发展从来不是一家企业、一个社区就能推动的。而openEuler将通过成立学习小组、制定新的规格等举措推进行业发展,致力于成为AI领域的领导者。当AI与OS互相成就,未来的开发者将有望创造更大的价值,完成更多的技术创新。

以上是全场景操作系统openEuler以AI赋能予力打造数字基础设施的详细内容。更多信息请关注PHP中文网其他相关文章!

声明:
本文转载于:sohu.com。如有侵权,请联系admin@php.cn删除