TDSQL敏态引擎TDStore：实现金融历史库从HBase的平滑迁移与性能跃升

业务痛点：HBase在金融历史库场景的架构瓶颈

财付通金融科技业务采用统一JDBC API访问数据库，其中95%的查询流量指向在线库（热数据），5%的查询流量指向历史库（冷数据）。历史库原采用HBase，面临四大核心挑战：

• 运维复杂性高：HBase依赖ZooKeeper、HMaster、HRegionServer和HDFS等多组件，HDFS高可用配置复杂，运维负担重。
• 查询性能受限：不支持二级索引，业务需先查索引表再查主表，查询链路长，延迟接近30毫秒。
• 数据一致性风险：不支持跨行事务，无法保证主表与索引表的数据一致性。
• 容灾能力不足：跨可用区容灾依赖应用层双写，程序复杂且难以保证主备数据一致性。

解决方案：TDSQL新一代敏态引擎TDStore的核心能力

TDSQL TDStore引擎基于云原生容器化架构，100%兼容MySQL 8.0语法，针对HBase痛点提供针对性解决方案：

• 简化运维：私有化部署基于腾讯云原生套件平台TCS，公有云开箱即用，支持快速部署与敏捷扩缩容。
• 提升性能：原生支持二级索引与自动在线维护，并支持跨行事务（包括分布式事务）。
• 增强可靠性：基于Multi-Raft协议实现跨可用区容灾，保障数据高可用。
• 优化成本：存储引擎基于LSM-Tree，支持LZ4和ZSTD压缩算法。相比HBase，压缩率提升约40%；对比InnoDB存储引擎，压缩率最高可提升数倍。

数据迁移通过DTS（数据传输服务） 实现，从生产MySQL集群导出SQL文件，再通过myLoader工具导入至TDStore集群，或通过快照方式从HBase迁移，流程清晰。

量化收益：存储成本与查询性能双重优化

将还款记录业务从HBase迁移至TDSQL TDStore引擎后，取得显著量化收益：

• 存储成本降低：单副本（不含索引）数据压缩率达到25%，存储空间占用大幅下降。
• 查询性能跃升：查询时耗从HBase的近30毫秒降低至平均6毫秒，执行效率提升约80%。

“TDSQL TDStore引擎有效解决了我们历史库在性能、一致性和运维上的核心痛点，迁移过程平滑，收益立竿见影。” —— 成江东，财付通金融科技数据库负责人

技术前瞻：统一架构赋能多业务场景

TDStore引擎的成功验证了其在高压缩比、高性能历史数据存储场景的价值。未来计划拓展至还款记录、充值记录、交易订单、收益记录等更多金融业务场景，持续追求更低的成本、更高的性能、更稳定的服务与更强的能力。技术演进路线包括列式存储、向量化引擎、并行处理及Binlog生态增强等，为金融级数据存储提供长期技术确定性。

数据来源：2024腾讯全球数字生态大会，财付通金融科技数据库负责人成江东演讲材料