深信服与趋动科技联手，利用高性能存储助力AI大模型研发

最近，北京趋动科技有限公司（以下简称“趋动科技”）与深信服正式推出了联合解决方案。该解决方案将深信服EDS的高性能存储与趋动科技OrionX AI算力资源池化软件以及Gemini AI训练平台有机结合，旨在整合存储和算力资源，帮助用户建立高效的人工智能平台，有效管理和利用人工智能资源

具体而言，推出联合解决方案将为人工智能领域的用户基础设施建设带来以下变化

高性能联合方案已准备就绪，旨在打造更高效的训练平台

随着人工智能大型模型建设进展加快，用户对人工智能模型训练效率的要求也越来越高。然而，由于GPU计算资源不足和底层存储小文件读写性能不足等问题，训练平台内的大量训练任务不得不排队等待。算力和存储能力的不足拖慢了整个人工智能训练平台的训练效率

为了解决这个问题，联合解决方案进行了全面优化。针对上层训练平台的效率问题，趋动科技的OrionX AI算力资源池化软件通过创建算力资源池，帮助用户根据任务情况灵活分配GPU资源，实现资源的切分、聚合、远程调用、超分、任务排队、动态挂载和释放，以及国产芯片异构池化等能力，充分满足各项训练任务的算力需求，加速任务的进行。同时，Gemini AI训练平台提供的调度能力优化了训练平台的管理机制，在统一调度下，AI模型的训练更加高效

通过EDS自研的启发式预读机制和多活元数据服务，我们能够有效解决底层存储的性能问题。即使在百亿数据集规模下，我们仍然能够提供高速的读写能力。这样一来，不仅可以减少GPU的等待时间，还能提高短期循环训练的吞吐能力和训练效率

2、容量和性能同时扩展，打造性价比高的存储方案

在日常的AI数据集训练过程中,为了让模型更加精准,常常需要用海量的图像、文本等数据对AI模型进行训练。飞速增长的数据给底层存储的容量和性能带来了巨大的压力,传统存储高成本、低效率的扩容模式愈发难以满足性能和容量的需求。

凭借矩阵式存储算法等全自研技术,EDS在存储图文、视频等小文件的过程中,可有效解决小文件写放大导致的空间浪费问题,最大化利用存储空间,三节点组成的集群即可满足一个中等规模的AI训练团队的存储需求。在性能的扩容方面,也得益于软件定义存储的架构优势,EDS在进行扩容时可实现容量与性能地同步扩展,灵活应对AI业务快速增长的性能需求。

3、统一管理，深度挖掘数据的价值

在发布方案之前，EDS已经成功地通过NFS CSI、S3等协议与趋动科技的Gemini AI训练平台实现了无缝对接。通过深度适配，Kubernetes容器编排平台可以更快地完成存储资源的动态分配，用户在部署时可以直接跳过方案可行性研究的环节，快速上线AI训练任务。同时，EDS还支持多协议之间的数据互通，多类型的客户端可以共用一套存储系统，各个阶段的成果数据无需跨存储进行拷贝，从而实现高效的流转，确保用户在任何训练阶段都能有效调用数据成果，更加便捷地挖掘数据的价值

在未来，双方还将加强在技术领域的合作，通过提供更高存储性能的联合方案，帮助用户加速完成AI训练平台的升级建设，使更多用户能够在AI训练的道路上取得更快更稳的进展

关于趋动科技：趋动科技致力于为用户提供全球领先的数据中心级AI算力虚拟化和资源池化解决方案。目前，已有多家人工智能、互联网、运营商、金融、汽车及自动驾驶、教育等行业的头部企业和用户使用OrionX AI算力资源池化解决方案

以上是深信服与趋动科技联手，利用高性能存储助力AI大模型研发的详细内容。更多信息请关注PHP中文网其他相关文章！