中国信通院《数据库发展白皮书》指出,核心系统的数据库迁移面临三大结构性难题:停机窗口长、数据一致性难保证、故障后缺乏回退手段。传统模式是“停机 → 全量迁移 →...
做数据迁移,我最怕在评审会上听到这一句:这套系统 7×24 跑,一秒都不能停,你们方案里那个"停机窗口",我这里批不出来。
上周有个做政务项目的朋友来找我吐槽。他们花了半年建数据共享交换平台,目录也梳了,接口也通了。结果一上量,交换链路天天告警,报表数据对不上,查了三天没找到根。我当...
我第一次做信创迁移,评估报告上写着兼容率 95%,功能测试全绿。上线两周后,客服反馈同一个单据被录入两次。我第一反应是不可能。数据是脚本一条条搬过去的,条数能对...
上周同事丢给我一个需求。要把交易库的数据,实时同步到分析平台去。老板只问了一句,数据库同步你打算怎么做。我当时的反应很朴素,建个触发器不就行了。三天后我就为这个...
在为 Apache SeaTunnel 开发 BigQuery Sink 连接器的过程中,我最初认为最大的挑战会很直接:确保数据能够正确写入 BigQuery。
异构数据集成做落地,全量初始化跑完只算走了一半。真正定成败的是下一步:增量怎么接上,接上之后怎么证明两边真的一致。这篇就按"锚位点—并行追—判追平—分片校验—熔...
在厂区、机房等场景中,网络内往往部署大量网络设备,包括交换机、服务器、PLC、视频采集设备、门禁终端等。每一台设备都自带本地硬件时钟,用于记录时间。硬件时钟受元...
迁移割接需要同步,双轨并行需要同步,实时容灾需要同步,信创替换更需要同步。数据同步做不好,迁移就是灾难。
上个月我被拉进一个选型会。客户要换掉跑了六年的 Oracle 同步链路。会议室里摆着三份方案,报价差了三倍。业务方只问一句:明天早上八点前,报表能不能拿到今天的...
第一次接触的时候,很多人会搞混。它们都跟“位置”有关,但“位置”的含义完全不同。把这三个东西搞清楚了,redo log的解析逻辑基本就通了一大半。
Apache SeaTunnel 8 月社区持续高频迭代!本月共合并 195 次提交,60 位贡献者参与贡献,新增 13 个连接器,进一步拓展数据源生态;Zet...
Apache SeaTunnel 的 Redis 连接器支持 string、hash、set、zset 类型的读取和写入,Redis 到 Redis 的数据搬运...
先说上周的事。周一早上九点,运营要周报,财务说ERP和报表库对不上账,开发同事一脸无奈:ETL昨晚又没跑完,字段映射错了,还在补数。三个系统、三套口径、一个早上...
假设你把客户数据存储在 Amazon DynamoDB 中,作为应用的唯一数据源(single source of truth)。但如今你需要同样的数据放在 R...
我们业务初期采用 PostgreSQL 作为 OLTP 兼分析型数据库,采用本地自建部署方式。实际运维过程中,需要投入大量人力处理数据库高可用架构维护、定时备份...