CTSDB时序存储：车联网海量低成本时序数据库技术概要

来源： 2024腾讯全球数字生态大会 (Tencent Global Digital Ecosystem Summit)

主讲人： 闫恩全

一、 产品定位与核心亮点

技术定义： CTSDB是一款面向车联网场景设计的时序数据库（Time Series Database），采用云原生容器化部署架构，专为处理高并发、海量增长的时序数据而构建。

核心差异化卖点：

• 极致压缩： 行业内追求更高压缩比的列存压缩技术，结合时序特征提取与通用压缩，最高可实现 100:1 的压缩比。
• 零运维弹性： 基于动态计算池（Compute Pool）架构，支持一键扩容与秒级弹性扩展，无需手动数据均衡。
• 高可用架构： 原生支持3AZ（可用区）部署，提供副本容灾与机房容灾能力，保障 99.95% 的服务可用性。

二、 产品应用场景

针对车联网领域数据爆发式增长的现状，CTSDB主要解决以下受众在特定业务场景下的痛点：

1. 车企数据架构师/运维团队（如NIO等）：
   • 痛点： 车辆传感器上报基数增长迅速（亿Points/s，月增10%+），波峰波谷差异达 3倍；传统存储（如C*）扩容需停服且数据迁移慢；PB级数据长期保存导致存储成本极高；自运营开源组件引入额外运维人力。
2. 车联网业务运营与安全部门：
   • 痛点： 需对电池高温、交通事故等进行实时预警，要求数据毫秒级可查；车辆高峰期开源技术栈（如HBase）遇到写入性能瓶颈；监管及运营要求数据长期保留，但“零存整取”（零散上报、大范围提取）的访问模式对查询性能要求极高。

三、 应用框架和功能介绍

1. 功能框架

• 数据接入层： 支持 Prometheus remote_write API、InfluxDB Line Protocol 及 Telegraf 协议。
• 计算层（Compute Pool）： 分为写入计算池（Ingestion）与查询计算池（Query），实现读写隔离，支持动态扩缩容。
• 存储层（Storage Layer）： 采用公共纬度提取 + 同时间线同Field数据列存压缩模型，支持时间分区与维度分区。

2. 硬核指标

• 压缩比：
  • 特征压缩 + 通用压缩，最高 100:1。
  • 相比Cassandra行存模型，压缩比提升 2X+。
  • tsbs cpu数据集 (Int/Float) 一阶段特征压缩比达 72:1。
  • tsbs cpu数据集 (String) 一阶段特征压缩比达 28:1。
• 高可用： 支持 99.95% 可用性，原生 3AZ 容灾。
• 性能： 支持毫秒级聚合查询与实时数据写入。
• 吞吐量： 支持 亿Points/s 级别的数据上报。

3. 产品优势

• 低成本存储：
  • 混合特征提取算法： 支持 Delta（记录变化）、ZigZag（负数转正）、RLE（等值频次）、Simple8b（连续0/1）、Gorilla（XOR前缀/后缀0）、BitPacked（bit表示值）。
  • 二阶段通用压缩： 时间分区较长时间不写才触发 Deep Compaction，平衡性能与压缩比。
  • 冷热分层： 最近数据保存 SSD，冷数据转存低成本介质。
• 高性能查询：
  • 零存整取优化： 单时间线数据集中存储，配合 Route Tag 精确到特定分区。
  • 物化视图： 支持预降采样、预降维度，大幅降低数据量，实现毫秒级聚合。
  • 流计算定制： 基于流计算实现的定制化物化视图。
• 高扩展性：
  • 灵活水平伸缩： 容器化云原生部署，计算节点动态扩展。
  • 存储双维扩展： 时间层面（高效TTL/冷热分层）与维度层面（扩展写入流量）。
  • 读写隔离： 独立的写入与查询计算池，避免资源争抢。

4. 荣誉背书

• 文中未提及具体奖项或第三方权威机构认证（依据原文保留空白）。

四、 典型案例

案例一：某客户（文中代称Candra，对比Cassandra场景）

1. 背景：
   • 使用Cassandra，扩容需停服进行手动数据均衡，迁移数据慢。
   • 开源组件稳定性不佳，维护复杂，性能不稳定。
   • Cassandra压缩比低，成本高。
2. 解决方案：
   • 采用CTSDB，利用其零运维、一键扩容能力。
   • 依托 99.95% 高可用及AZ级容灾架构。
3. 成效：
   • 写入延时降低 50%↓，读取延时降低 90%↓。
   • 总成本降低 32%↓。

案例二：某客户（文中代称Candra，对比HBase场景）

1. 背景：
   • 业务涉及电池高温大数据实时预警与交通事故关怀，对数据实时性要求极高。
   • 车辆高峰期，开源技术栈（HBase）遇到写入性能瓶颈。
   • HBase通用压缩比低，存储成本高。
2. 解决方案：
   • 利用CTSDB实现毫秒级可查实时预警。
   • 启用秒级弹性扩展应对业务高峰。
3. 成效：
   • 存储成本降低 25%↓。