在2023年的百度云智大会·智算大会上,百度一次性发布了AI异构计算平台“百舸3.0”、智算网络平台以及自研的云原生数据库GaiaDB 4.0等新产品
其中,百舸3.0已经对AI原生应用以及大型模型的训练、推理等环节进行了全面的专项优化和升级。它支持万卡级别的超大规模AI集群计算;相较于自建智算基础设施,在模型训练和推理方面,最高吞吐量分别提升了30%和60%;在资源利用方面,百舸3.0能够实现高达98%的超高集群有效训练时间占比,以及95%的网络带宽有效利用率,充分释放集群的有效算力
为了解决AI原生时代智能算力供需平衡的问题,智算网络平台支持将百度和第三方建设的智算中心、超算中心和边缘节点等智算节点进行全域接入。通过连接分散和异构的算力资源,形成一个统一的算力网络资源池。同时,利用百度自主研发的先进算力调度算法,智能地分析各类算力资源的状态、性能和利用率等指标,并进行统一调度。这样能够有效提高智算产业资源的利用率
GaiaDB 4.0是一款云原生数据库,它通过增强并行查询能力来解决单机计算瓶颈的问题。它实现了跨机多核并行查询,在混合负载和实时分析业务场景中的性能提升超过10倍
百度集团副总裁侯震宇强调,AI原生时代,面向大模型的基础设施体系需要全面重构,为构建繁荣的AI原生生态筑牢底座。
侯震宇表示:“大模型重构云计算主要体现在三个层面:AI原生云将改变云计算的格局,模型即服务(MaaS)会成为新的基础服务,AI原生应用催生新的研发范式。”
在计算能力方面,进行更智能的计算
在云基础设施层中,过去从互联网应用到移动互联网应用,底层都是基于CPU计算芯片。然而,随着人工智能应用对GPU或异构计算的需求大幅增加,云市场的底层算力开始向以GPU为主的方向迁移
2023年第三季度,英伟达的营收已经超过了英特尔,而且英伟达的最新市值也超过了英特尔的1万亿美元。未来,GPU的增长将会远远超过CPU。在这种趋势下,我们需要对面向大型模型的云计算基础设施体系进行全面重建,以支持AI原生应用系统的实施
具体而言,云计算的全面重构将在三个领域得到体现,即面向模型的智能计算基础设施、面向数据的数据基础设施以及面向应用的云基础设施的全面升级,从而使计算变得更加智能化
在模型层,大型模型正变得更通用,即模型即服务(MaaS)
MaaS将大幅降低Al落地的门槛、实现真正的Al普惠,其依赖的新型IT基础设施也将进一步在底层颠覆现有的云计算市场格局。
根据百度智能云的实践经验来看,在过去的4个月中,自从8月31日文心一言全面开放以来,百度智能云千帆大模型平台(百度智能云推出的MaaS平台)上的API日调用量增长了10倍。客户主要来自互联网、教育、电商、营销、手机、汽车等各行业。可以清楚地看到,最近半年以来,已经有很多企业真正开始广泛使用大模型
在应用层,应用开发的方式已经完全改变
大规模模型理解、生成、逻辑、记忆的独特能力将引领原生应用研发的新范式,整个应用技术栈、数据流和业务流将会发生变革
过去,基于CPU的应用开发主要是由业务逻辑驱动的,而传统的人工智能研发需要为每个独立的场景获取数据,并分别从头开始训练模型。而现在,人工智能原生应用主要依赖于强大的大模型能力,以数据驱动开发。企业可以直接在基础大模型的基础上,利用场景数据进行微调,生成专属的大模型,并运用模型能力设计人工智能原生应用,无需重新训练大模型。随着企业业务的扩大,积累了更多具有竞争力的场景数据,进而提升模型和应用的效果,形成了数据驱动的良性循环
具體來說,大型模型驅動的AI原生應用研發新範式展現出幾個新變化:
首先是“新场景”。生成式大语言模型,在理解、生成、推理、记忆等多维度展现出超预期的能力,带来了智能涌现,由此催生了很多新的可落地的业务场景应用,如个人助理、智能文案创作、GBI(智能商业分析)、编码助手等。
第二是“新架构”。大模型具体在这些新场景落地的过程中,也产生了很多新的系统架构,如检索增强生成RAG,智能体Agent 等。
第三是“新开发生态”。以大模型为核心,开发者工具层也出现了一些新工具,包括编排工具LangChain、AI应用开发工具PromptFlow、数据框架Llamalndex等。
数据和算法的支撑。在大模型方面,我们需要建立强大的深度学习模型库,提供各种各样的A原生应用模型,以满足不同场景的需求。在智能算力方面,我们需要强化处理器和GPU的计算能力,提供高效的计算资源,以支撑A原生应用的复杂计算任务。在数据方面,我们需要收集大量的A原生应用数据,进行数据挖掘和分析,以提供精确的个性化服务。在算法方面,我们需要研发先进的机器学习算法,提升A原生应用的智能化水平。只有通过这些支撑,我们才能够构建一个真正繁荣的A原生应用生态系统
AI原生应用研发新范式的三个要素相互依存。大模型是AI原生应用的核心,智能计算为其提供稳固的支持,而新的研发范式则有助于开发者高效地基于大模型能力开发应用。数据飞轮是成功的AI原生应用的必要条件,可以使大模型能力快速迭代,从而持续改进产品体验
侯震宇说:“我相信,在2024年,会诞生出真正非常闪耀的AI原生应用。”
以上是侯震宇宣布百度推出多款AI原生云产品,正致力于重塑云计算中的大模型技术的详细内容。更多信息请关注PHP中文网其他相关文章!