首页  >  文章  >  科技周边  >  腾讯云发布自研大数据高性能计算引擎Meson,性能最高提升6倍

腾讯云发布自研大数据高性能计算引擎Meson,性能最高提升6倍

WBOY
WBOY原创
2024-07-15 14:38:20366浏览

腾讯云发布自研大数据高性能计算引擎Meson,性能最高提升6倍

7月4日消息,腾讯云发布全新自研大数据高性能计算引擎Meson。

Meson通过软硬一体加速和智能技术的综合应用,能显着为AI等场景下的大数据任务提供更优的计算性能,并节省更多计算资源。

比如,在数据湖场景下,Meson能够助力单个数据查询分析提速6倍,在微信读书“AI问书”项目中,Meson助力大数据任务节省了9成的资源消耗。

目前,Meson已登陆腾讯云数据湖、搜索分析服务、云数据仓库三大业务线,作为统一的计算加速底座,为企业大数据业务提供加速服务。

在大数据领域,数据存储和计算是至关重要的核心环节,针对计算和存储的性能提升一直是大数据技术攻坚的核心任务。

腾讯云大数据高性能计算引擎Meson在多个方面作出加速优化:

  • 软件层的向量化计算、JIT Compilation等一系列软件加速工程
  • 硬件层的GPU及FPGA加速
  • 基于智能查询优化、负载智能预测等智能技术,让大数据分析可以根据过往的经验,自动调整处理策略,使得数据处理更加高效。

海量数据的处理与分析率先体验到Meson带来的性能提升。

以存储海量数据的数据湖而言,腾讯云基于Meson实现了完全兼容Spark的向量化计算能力,能在处理大规模数据时发挥更高的性能。

在搜索分析的高频需求中,腾讯云Elasticsearch Service (简称ES)结合Meson解决方案,成为全球首个支持GPU加速的ES服务,显着提高了ES向量生成和向量检索的效率。

对于企业级数据仓库TCHouse 来说,Meson通过采用查询优化技术、向量化计算模式及AI智能资源调度等技术手段,可大幅提升海量数据分析的效率和质量。

截至目前,腾讯云大数据已持续为超1000家中大型客户构建国产大数据平台,涵盖能源、制造、电力等多个领域,如国家电网、中国商飞、三一重工、陕西建工等各行业头部客户。

以上是腾讯云发布自研大数据高性能计算引擎Meson,性能最高提升6倍的详细内容。更多信息请关注PHP中文网其他相关文章!

声明:
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn