讲一个真实的事。

上个月跟一个做数据平台的朋友吃饭，他跟我说他们团队最近刚完成一个事儿——**把跑了大半年的Debezium Oracle增量采集链路，全部换掉了。**

-   **我说你们当初为啥选Debezium？他说：** 开源、免费、社区活跃、生态好，Kafka那一套本来就搭好了，加个连接器的事儿，看着确实挺完美的。  
    我说那为啥换？
    
-   **他叹了口气：** “有些问题你知道怎么修，但你修不了。”
    

### 一、刚开始跑得挺好，后来就不对了

他们团队做的是一个偏中台性质的数据平台，要从客户的Oracle数据库实时采集增量数据，推到Kafka里供下游消费。

选型的时候，Debezium几乎是顺理成章的选择。毕竟Oracle CDC这块，开源方案里能打的本来就不多。Flink CDC的Oracle连接器底层依赖的也是Debezium，而Debezium底层用的又是Oracle LogMiner。

刚开始部署的时候一切正常。十几张表，日增量也就几十万条，延迟基本在秒级。团队还挺满意，觉得选对了。

但业务量上来之后，事情就开始变了。

**第一个问题是延迟。** 业务高峰期，日志产生速度一上去，Debezium就开始追不上了。延迟从几秒慢慢涨到几分钟，最严重的一次飙到了四十多分钟。他们试着调了一堆参数——`log.mining.batch.size.default`、`log.mining.batch.size.max`、`log.mining.sleep.time.*`，前前后后调了大半个月。

效果呢？峰值的时候好一点，低谷的时候又过读了。用Debezium官方博客里的话说就是：“在峰值和静默期之间找到平衡，坦白说，是一场必输的战斗。”

**第二个问题是表名超过30个字符被忽略。** 他们的客户有一套微服务架构的系统，表名带业务域、带版本号，超过30个字符的表比比皆是。跑着跑着发现好几张表的数据一直没过来，查日志才发现一行警告：`Table '...' won't be captured by Oracle LogMiner because its name exceeds 30 characters`。

-   **去问社区，得到的回复是：** LogMiner是Oracle内核的一部分，改不了。官方建议是——请限制表名和列名都≤30个字符。  
    但几十张表、几百个字段，下游还有一堆依赖这些表名的应用，改表名？根本不可能。  
    **第三个问题是数据丢失。** 这是最让他们睡不着觉的。  
    他们在Kafka里发现偶尔会丢事件。虽然概率不高，“五十万条里丢一条”。五十万条丢一条，听起来概率很低对吧？问题是你永远不知道丢的是哪一条。  
    他们去GitHub上翻，发现Debezium官方Issue #2184描述的就是一模一样的问题——Oracle Connector Missing CDC events，从2024年7月创建到现在，状态还是Open。  
    金融场景里，五十万笔交易丢一笔，谁也接受不了。  
    **第四个问题是大事务直接OOM。** 客户那边半夜跑批量任务已经是家常便饭了。几百万行的更新一跑，Debezium任务就崩，报`OutOfMemoryError: Java heap space`。  
    他们把TaskManager堆内存从540MiB加到960MiB，结果呢？从25万行撑到35万行，加了将近一倍的内存，只多撑了10万行。Debezium社区里有人讨论过这个问题，根因是连接器在事务提交之前会把所有变更先缓存到本地内存里，事务有多大，缓存就有多大。
    

### 二、为什么Debezium解决不了这些问题？

我朋友说，他们团队花了很多时间排查这些问题，最后发现了一个让人绝望的事实——

**所有问题的根因，都在LogMiner里面。**

Debezium和Flink CDC的Oracle连接器，底层调的是Oracle LogMiner。闭源的、黑盒的、你动不了的。你能改的只有外面那层壳——配置参数、调优线程池、加大内存——核心的黑盒你碰不到。

表名30字符限制？LogMiner的限制。

SCN暴涨追不上？LogMiner的`lastProcessedScn`反馈机制问题。

大事务OOM？LogMiner需要在内存里缓存整个事务。

数据丢失？LogMiner就是会漏事件。

数据类型不支持？LogMiner不支持BLOB、CLOB、XMLTYPE。

**这些问题，Debezium一个都解决不了，因为根因在LogMiner里面，外面改不了。**

Debezium官方自己也承认这一点。他们最近发布了3.6版本，把整个SCN-based batching机制换掉了，改成了基于日志文件数量的方式。但问题是——**这只是在外层做优化，LogMiner的黑盒依然在那里。**

-   **我朋友说了一句话让我印象很深：** “Debezium社区很努力，这我承认。但他们能改的只有自己那层代码，LogMiner里面的事情他们够不着。**只要底层还是LogMiner，天花板就在那里。** ”
    

### 三、他们后来换成了什么？

他们后来换掉Debezium，用的是另一个方案——TLA。

-   **TLA跟Debezium最大的区别在于：** **不依赖LogMiner，直接解析Oracle redo log的二进制格式。**  
    我朋友说，他们刚开始也不太信这东西能行。毕竟Oracle的redo log格式不公开，市面上的方案基本都是套壳LogMiner。但做了一圈POC之后，发现确实不一样。  
    **第一，表名没有30字符限制。** TLA直接解析二进制，不走LogMiner那层“翻译”，自然不受这个限制。  
    **第二，复杂数据类型全支持。** BLOB、CLOB、XMLTYPE这些，TLA都能处理。  
    **第三，流式解析，大事务不OOM。** TLA不缓存整个事务，边读边解析，内存占用基本平稳。  
    **第四，性能高一个数量级。** 他们内部做了压测，同样的硬件条件下，TLA的吞吐比Debezium高了好几倍。网上也有人做过对比，小字段场景TLA能做到10.8万条/秒，而LogMiner方案的上限大概在1万条/秒左右。  
    最关键的一点——**TLA整个解析链路从日志读取到块解析到事务还原，全部自己控制，不依赖任何外部闭源组件。** 遇到问题自己改就行，不用等社区排期，不用等Oracle补丁。
    

### 四、换完之后怎么样？

我朋友说，切换过程比他们想象中顺利。

TLA是组件形态，不是完整产品，可以嵌入到他们现有的数据平台里。他们保留了Kafka作为下游，只是把日志解析这一层从Debezium换成了TLA。

换完之后，几个之前一直解决不了的问题都消失了：

-   延迟稳定在秒级，没再出现过“越追越远”的情况
    
-   表名再长也能正常捕获
    
-   大事务来了内存也不飙升
    
-   数据一条没丢过  
    “早知道有这东西，当初就不在Debezium上折腾大半年了。”他说。
    

### 五、说句实在话

Debezium是个优秀的开源项目，在MySQL、PostgreSQL上确实好用。问题出在Oracle这里——**它被LogMiner卡住了脖子**。

你去翻GitHub，SCN追不上的Issue挂了两年多，数据丢失的Issue挂了快一年，大事务OOM的Discussion挂了三年多。用户把根因分析出来了、代码都写好了、PR都准备好了——但还是没人合并。为什么？因为根子在LogMiner，改Debezium的代码解决不了根本问题。

-   **这就是套壳方案的宿命：** 你永远受制于那个你改不了的黑盒。\*\*  
    TLA走的是另一条路——绕过LogMiner，直接啃二进制。这条路难走，但走通了就不受任何人限制。  
    如果你也在用Debezium做Oracle的增量采集，也在被延迟、丢数据、OOM这些问题折磨——可以考虑换个思路看看。  
    欢迎交流。

上个月跟一个做数据平台的朋友吃饭，他跟我说他们团队最近刚完成一个事儿——把跑了大半年的Debezium Oracle增量采集链路，全部换掉了。

“我们换掉Debezium了”——一个数据平台团队的CDC选型历程

数据库

大数据

架构设计

真实案例：某团队用Debezium做Oracle增量采集半年后被迫弃用，因底层LogMiner黑盒导致延迟飙至40分钟、表名超30字符被忽略、丢数据、大事务OOM等问题无法根治。改用直接解析redo log的TLA方案后，延迟稳定秒级，数据零丢失，内存平稳，吞吐提升数倍。Oracle CDC选型需警惕闭源底层限制。

微服务架构

Oracle数据库

日志文件

数据丢失

PostgreSQL

GitHub

MySQL

Kafka

2026上云采购 | AI焕新·智启新局

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

“我们换掉Debezium了”——一个数据平台团队的CDC选型历程-腾讯云开发者社区-腾讯云

“我们换掉Debezium了”——一个数据平台团队的CDC选型历程

“我们换掉Debezium了”——一个数据平台团队的CDC选型历程

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐