荣耀DataOps平台建设与海量数据处理实践

数据来源：《荣耀DataOps平台建设实践分享》—— 赵黄起，荣耀终端股份有限公司 大数据平台部部长

应对全模态海量数据与多业务线的并发挑战

随着荣耀从智能手机制造商转型为AI终端生态公司（截至2023年12月，员工14000+，研发人员占比70%+，在网设备数2.5亿+），其数字化建设要求构建消费、工业、企业管理及全球一朵云四大智慧作战平台。业务的全面AI化对底层数据平台提出了极高的并发与规模要求，核心挑战集中在：

• 多源海量数据处理承压： 需支撑百级全球网络路线、十级（PB）数据库及亿级消费者隐私安全，全模态海量数据的物理存储、高性能计算及资源调度面临瓶颈。
• 开发与治理链路割裂： 典型开发场景人天数较高，业务活动在线数字化率亟待提升；同时，占总数据量90%的点位数据存在未注册乱上报、上报质量差、大量无用点位堆积及共享困难等治理痛点。

依托云原生引擎构建全链路DataOps平台

为支撑企业低成本、高性能的存储和计算需求，荣耀采取“计算与存储引擎使用云厂家能力，工具链通过自建构建能力”的建设策略。通过实现“四个统一”（统一存储引擎、统一计算引擎、统一数据开发、统一数据治理），构建面向开发人员的全链路大数据开发治理平台。

• 架构解耦与能力组装： 底层依托IAAS与PAAS层，构建涵盖在离线混部、动态资源调度引擎。数据CI/CD流水线贯穿数据采集、入湖、开发、发布部署及消费全生命周期，实现“多云适配，让业务看不到云”。
• 建立三方协同运营机制： 落地“技术与运营协同”、“平台与业务协同”、“平台与云厂商协同”，通过数据驱动度量降本效果，实现从需求反馈、共创开发到应用落地、效果监控的业务闭环。

兑现存算降本与研发效能跃升的量化指标

DataOps平台在海量数据治理与底层资源调度上实现了显著的运维成本（Ops Cost）降低与开发效率提升：

• 混合部署释放计算成本空间： 依托业内最大规模离在线混合部署实践及计算引擎升级（切换至StarRocks），并配合TCInsight任务洞察进行超大任务优化。2025年已节省计算成本XXXX万元。
• 生命周期管理优化存储水位： 实施冷热数据分层与冷表治理，EMR存储降本成效显著。2025年已删除数据XXX PB，沉降XXX PB，累计节省存储成本XXXX万元。
• 作业在线化驱动研发提效： 构建DataOps开发平台，覆盖数仓建模、代码调测等环节，业务活动在线数字化率提升了50%。现已演进至智能化阶段，引入SQL代码优化、调度依赖自动生成及对接AI Agent构建内部知识库。
• 资产精细化治理提升共享效率： 针对占比90%的点位数据实施精准治理。通过统一注册与拦截裁剪，目标在2025年实现注册上报一致率90%；通过血缘识别清理无用点位，减少存储XX T；简化共享流程使点位查找和共享流程提效30%。

协同迭代多模态存算技术以赋能AI知识湖

面对“Data+AI”全模态数据（文、图、音、视）统一管理的发展趋势，结构化数据存算引擎能力虽已完善，但多模态能力依然薄弱。为打破传统管理鸿沟并实现大数据与AI引擎的平权统一访问，荣耀于2025年协同腾讯云大数据在多模态存储与计算引擎领域展开技术预研：

• 引入EMR-Lance优化检索与成本： 统一多模态数据格式，支持增量更新，提供高效的索引和检索机制，大幅节约多模态数据的存储成本。
• 引入EMR-Ray突破处理性能瓶颈： 旨在提升多模态数据的处理性能，预期性能将提升15%，为构建实时或准实时多模态处理能力提供底层基础，最终支撑零售分析、智能制造、智慧办公等全域场景的商业变现与效率提升。