腾讯云大数据公有云基础产品性价比升级技术概要

一、 产品定位与核心亮点

本次发布聚焦于腾讯云大数据公有云基础产品的性价比全面升级，核心是通过数智技术驱动，实现更高计算性能、更优架构模式、更灵活的产品形态三大方向的突破。其技术本质是基于软硬一体加速和AI加持的通用计算加速底座（Meson引擎），并结合云原生架构演进（如存算分离、Serverless），旨在为企业在经济新常态下提供极致性价比的大数据计算与分析服务。

二、 产品应用场景

• 大数据处理与分析团队：面临数据湖（Hadoop/Spark）、数仓（OLAP）及日志检索分析（Elasticsearch）等场景下计算性能瓶颈与高昂成本压力的企业用户。
• 运维与开发人员：在传统Elasticsearch集群模式下，受困于数据接入、索引管理、集群运维等高学习成本、高人力与时间投入的技术团队。
• 成本敏感型企业：在宏观经济环境下，对IT资源成本控制有强烈需求，期望获得免运维、按需付费、弹性伸缩的云服务形态的用户。

三、 应用框架和功能介绍

功能框架与硬核指标

1. Meson高性能计算引擎
   • 设计理念：围绕“极致软件工程”、“软硬一体”（计算硬件化）、“AI4Data”（智能加速）打造通用计算加速底座。
   • 加速场景与指标：
     • 数据湖场景 (EMR + DLC)：实现基准计算性能提升2.27倍。首发支持原生Iceberg表、运行时Iceberg表向量化读取及大规模湖存储向量化引擎优化。
     • 检索分析服务场景 (ES)：成为全球首个支持GPU加速的ES产品（基于腾讯自研紫霄GPU实现向量检索加速）。
2. ES Serverless与架构升级
   • 核心架构：采用自研的读写分离与存算分离新架构。
   • 性能指标：
     • 写入性能：自研读写分离架构下，写入性能最大提升10倍；日志场景整体性价比提升10倍，写入均降本50%~80%。
     • 存储成本：存算分离架构相比原ES架构2副本CBS方案，实现存储成本下降90%+。
   • 产品优势：完全免运维（集群、索引）、100%兼容开源API、按量付费、自动弹性伸缩、提供端到端SLA保障。
3. EMR托管节点 (MNode)
   • 产品形态：由EMR后台统一维护硬件设备的TASK节点，用于灵活扩容。
   • 成本指标：相对传统节点模式，最高可节省30%资源使用成本。
   • 产品优势：故障自动替换、无需关注单个机型库存、简化运维。

荣誉背书

• 腾讯云检索分析服务ES基于Meson引擎，成为全球首个支持GPU加速的ES产品。

四、 典型案例

• 某ES客户案例（原文未提供具体客户名称）
  • 背景：客户使用社区ES架构，面临高昂成本。
  • 解决方案：采用腾讯云ES的读写分离与存算分离全新架构。
  • 成效：
    • 计算资源：计算节点从50台缩减到5台。
    • 成本：整体相较原ES架构可实现十倍以上性价比提升。

来源：腾讯全球数字生态大会，主讲人：胡嘉琪。