首页
学习
活动
专区
圈层
工具
发布
首页标签数据同步

#数据同步

双轨并行架构设计:全量迁移的并行策略、增量同步的延迟基准与双向Master实现

这个DBA有点耶

中国信通院《数据库发展白皮书》指出,核心系统的数据库迁移面临三大结构性难题:停机窗口长、数据一致性难保证、故障后缺乏回退手段。传统模式是“停机 → 全量迁移 →...

9510

数据迁移不停机方案:存量增量接力与双轨割接设计

数据库小学妹

做数据迁移,我最怕在评审会上听到这一句:这套系统 7×24 跑,一秒都不能停,你们方案里那个"停机窗口",我这里批不出来。

12510

数据共享交换平台:交换方式与底座同步

数据库小学妹

上周有个做政务项目的朋友来找我吐槽。他们花了半年建数据共享交换平台,目录也梳了,接口也通了。结果一上量,交换链路天天告警,报表数据对不上,查了三天没找到根。我当...

14310

数据迁移方案怎么落地:六阶段闭环、迁移校验与回退设计

数据库小学妹

我第一次做信创迁移,评估报告上写着兼容率 95%,功能测试全绿。上线两周后,客服反馈同一个单据被录入两次。我第一反应是不可能。数据是脚本一条条搬过去的,条数能对...

23110

数据库同步怎么做?交易库实时同步到分析平台的四类方案与选型避坑

数据库小学妹

上周同事丢给我一个需求。要把交易库的数据,实时同步到分析平台去。老板只问了一句,数据库同步你打算怎么做。我当时的反应很朴素,建个触发器不就行了。三天后我就为这个...

22710

记一次连接器改造经历:为什么我把 BigQuery Sink 从待处理流重构为缓冲流?

Apache SeaTunnel

在为 Apache SeaTunnel 开发 BigQuery Sink 连接器的过程中,我最初认为最大的挑战会很直接:确保数据能够正确写入 BigQuery。

10100

异构数据集成衔接实战:位点锚定+分片校验,割接不再丢两小时数据

数据库小学妹

异构数据集成做落地,全量初始化跑完只算走了一半。真正定成败的是下一步:增量怎么接上,接上之后怎么证明两边真的一致。这篇就按"锚位点—并行追—判追平—分片校验—熔...

17610

内网时间乱了?一台时间同步装置,让设备时间保持一致

正瑞电子

在厂区、机房等场景中,网络内往往部署大量网络设备,包括交换机、服务器、PLC、视频采集设备、门禁终端等。每一台设备都自带本地硬件时钟,用于记录时间。硬件时钟受元...

13400

数据库数据同步解决方案深度对比:6款主流工具横向对比与信创选型指南

这个DBA有点耶

迁移割接需要同步,双轨并行需要同步,实时容灾需要同步,信创替换更需要同步。数据同步做不好,迁移就是灾难。

18610

数据库实时同步工具选型:六类方案 + Oracle 迁国产库复盘

数据库小学妹

上个月我被拉进一个选型会。客户要换掉跑了六年的 Oracle 同步链路。会议室里摆着三份方案,报价差了三倍。业务方只问一句:明天早上八点前,报表能不能拿到今天的...

26410

SCN、RBA、XID:读懂这三个缩写,就读懂了Oracle日志

河北英数创新软件马英迪

第一次接触的时候,很多人会搞混。它们都跟“位置”有关,但“位置”的含义完全不同。把这三个东西搞清楚了,redo log的解析逻辑基本就通了一大半。

14310

195 次合并、13 个新连接器!Apache SeaTunnel 8 月有哪些新进展?

Apache SeaTunnel

Apache SeaTunnel 8 月社区持续高频迭代!本月共合并 195 次提交,60 位贡献者参与贡献,新增 13 个连接器,进一步拓展数据源生态;Zet...

18010

Redis 数据迁移不用写脚本:SeaTunnel 支持 String、Hash、Set、ZSet 四种数据类型

Apache SeaTunnel

Apache SeaTunnel 的 Redis 连接器支持 string、hash、set、zset 类型的读取和写入,Redis 到 Redis 的数据搬运...

9710

异构数据集成"搬追对"三步落地复盘:Oracle、MySQL迁国产库

数据库小学妹

先说上周的事。周一早上九点,运营要周报,财务说ERP和报表库对不上账,开发同事一脸无奈:ETL昨晚又没跑完,字段映射错了,还在补数。三个系统、三套口径、一个早上...

25110

用 Apache SeaTunnel 同步 DynamoDB 到 Redis,一个配置文件就够

Apache SeaTunnel

假设你把客户数据存储在 Amazon DynamoDB 中,作为应用的唯一数据源(single source of truth)。但如今你需要同样的数据放在 R...

58810

实践心得 | 用 Apache SeaTunnel 搞定 PostgreSQL 到平凯数据库云服务的数据迁移

Apache SeaTunnel

我们业务初期采用 PostgreSQL 作为 OLTP 兼分析型数据库,采用本地自建部署方式。实际运维过程中,需要投入大量人力处理数据库高可用架构维护、定时备份...

18010
领券