- 综合排序
- 最热优先
- 最新优先
- 来自专栏DataLink数据中台
【用户投稿】Dinky整库同步Mysql至StarRocks
导读：本文由社区用户刘思林老师带来的实践小分享——Dinky 整库同步 Mysql 至 StarRocks。 目前 dinky 0.7.3 版本只支持 mysql 自动建表（不支持自动建库） 暂不支持 starrocks 自动建表建库 二、环境部署 Flink1.14.6 部署 jar包下载：https:// 数据开发脚本开始使用的官方文档：http://www.dlink.top/docs/next/data_integration_guide/cdcsource_statements#%E6%95%B4%E5% BA%93%E5%90%8C%E6%AD%A5%E5%88%B0-starrocks一直不能成功，修改后的脚本为： EXECUTE CDCSOURCE jobname WITH ( 'connector 首次全量同步： 新增记录： 删除记录： 修改记录： 使用感受 部署流程：官方文档很清晰，对着一遍走下来，完整跑通。
2K20编辑于 2023-09-22 - 来自专栏DataLink数据中台
Dinky on k8s 整库同步实践
摘要：本文介绍了安家老师带来的的 Dinky 在 K8S 上进行整库同步的实践分享。 内容包括： Tips：历史传送门～ 《Dinky 实践系列之 Flink Catalog 元数据管理》 《Dinky实践系列之FlinkCDC整库实时入仓入湖》 《Dinky FlinkCDC 整库入仓 StarRocks》 《Dinky 构建 Flink CDC 整库入仓入湖》 GitHub 地址 https://github.com/DataLinkDC/dlink https://gitee.com /DataLinkDC/Dinky 欢迎大家关注 Dinky 的发展~ 一、前言 本文主要讲解如何在 K8S 集群跑 Dlink+Flink 通过 Flink CDC 进行整库同步。 五、整库同步 需要确保 dlink 所在的 MySQL 的 my.conf 开了 binglog ,并且 格式为 ROW。演示 整库同步 dlink 的所有表同步到 cdc-test 中。
2.2K20编辑于 2023-02-26 - 来自专栏一臻数据
【Apache Doris】Flink Doris Connector 整库同步使用指南
导读 本文主要分享总结 Flink Doris Connector 整库同步的版本兼容、相关概要、功能特性、最佳实践和常见FAQ。 一、版本说明 从版本 1.4.x 开始，Flink-connector-doris 支持整库同步 MySQL 数据库到 Apache Doris。 1.4.0：开始支持整库同步 MySQL。 1.5.0：开始支持同步 MySQL 非主键表，并扩展支持整库同步 Oracle、Postgres 和 SQL Server。 功能特性 ① 支持整库同步 MySQL、Oracle、PG 和 SQL Server 表DDL及数据到 Doris。 使用整库同步 MySQL 数据到 Doris，出现 timestamp 类型与源数据相差多个小时。
5.7K10编辑于 2024-12-24 - 来自专栏DataLink数据中台
Dinky从checkpoint与savepoint自动恢复整库同步作业
摘要：本文由韩公子老师带了 Dinky 实时计算平台从 checkpoint 与 savepoint 自动恢复整库同步作业的实操过程分享。 内容包括： 场景 Dinky 提交作业 自动 savepoint 恢复 自动 checkpoint 恢复 手动指定 checkpoint 恢复 总结 Tips：历史传送门～ 《Dinky on k8s 整库同步实践 》 《Dinky 实践系列之 Flink Catalog 元数据管理》 《Dinky实践系列之FlinkCDC整库实时入仓入湖》 《Dinky FlinkCDC 整库入仓 StarRocks》 GitHub dlink https://gitee.com/DataLinkDC/Dinky 欢迎大家关注 Dinky 的发展~ 一、场景 使用 Dinky 自动 savepoint、checkpoint 恢复整库同步作业 数据库中查看 SavePoint 信息 在dlink数据库中，也可以查看到保存的Savepoint元数据。
1.7K50编辑于 2023-02-26 - 来自专栏大数据学习笔记
【实操记录】Oracle数据整库同步至Apache Doris
本文是Oracle数据整库同步至Apache Doris实操记录，仅供参考 参考：https://cn.selectdb.com/blog/104 1、Oracle 配置 [root@node1 oracle SQL> SQL> shutdown immediate; 数据库已经关闭。 已经卸载数据库。 ORACLE 例程已经关闭。 SQL> alter database archivelog; 数据库已更改。 SQL> alter database open; 数据库已更改。 测试同步操作 [root@node1 flink-1.17.1]# bin/flink run \ > -Dexecution.checkpointing.interval=10s \ > Job has been submitted with JobID fd244bcb10f06e5aa801d2708441bb86 登录Doris查看同步效果 [root@node1 doris-2.0
2.2K50编辑于 2023-10-18 - 来自专栏Apache Doris
一键实现 Oracle 数据整库同步至 Apache Doris
，尤其是在多表或整库同步场景中，不仅带来大量配置工作量，还增加了 FlinkSQL 脚本的维护成本。 由于每张 Source 表都会使用同一个链接，因此在整库同步时会给源端造成很大的链接压力。 Apache Doris 的整库数据同步。 此外，Doris-Flink-Connector 也可以一键实现万表 MySQL 整库同步至 Apache Doris 中来，具体使用可参考：一键实现万表 MySQL 整库同步至 Apache Doris 特别是在整库同步场景中，用户只需执行一键导入命令，即可快速将整个数据库的全量和增量数据导入到 Doris 中。这一功能的引入大大降低了数据同步的门槛，使数据同步变得更加简单高效。
2.9K21编辑于 2023-08-23 - 来自专栏DataLink数据中台
Dinky在Doris实时整库同步和模式演变的探索实践
摘要：本文总结了 Dinky 社区在 Doris Summit 2022 上分享的《Dinky 在Doris实时整库同步和模式演变的探索实践》，其分享主要分为四个章节，内容包括： 整库入仓的需求和挑战 那如何实现表结构变更自动同步及新列数据自动同步呢？这也是 FlinkCDC 整库模式演变的挑战。 · 在整库同步只用一个连接方面，FlinkCDC 的 DataStream 可以只创建一个连接来读取整库的变动数据和结构变更，而 FlinkSQL 只能读取一个表的变动数据。 Dinky 在 Doris 的整库同步+模式演变 最终呢，我们通过 Dinky 的一句 CDCSOURCE 的语句，便可以完成整库实时入库 Doris，且支持一定的模式演变能力。 对于之前讲到的全增量自动切换、元数据自动发现、表结构变更自动同步、整库同步只用一个连接、一行 SQL 部署整个作业这个五个用户诉求的功能基本实现。
7.4K40编辑于 2023-02-26 - 来自专栏一臻数据
【Apache Doris】如何一键实现MySQL万表整库同步？
导读 本文主要分享 Apache Doris 是如何一键实现MySQL万表整库同步的。 环境信息 1. 硬件信息 CPU：48C 内存：256G 2. 整库同步 （1）数据准备 基于【单表同步】的part零件信息表，新建一个db、然后copy几张相同表进行整库同步体验。 （2）整库体验 整库同步MySQL中ssb_test_part_all库中的所有表，共1600000*3条记录。 . sink-conf sink.label-prefix=label \ --table-conf replication_num=1 \ 在FLINK_HOME执行上述命令后，WEB UI中会新增相应整库同步 至此，【Apache Doris】一键实现MySQL万表整库同步 分享结束，查阅过程中若遇到问题欢迎留言交流。
2.2K10编辑于 2024-12-24 - 来自专栏qData数据中台
一键上百张表同步不是梦：qData 商业版整库同步来了
“表太多、脚本太乱、同步太难”几乎是每个工程师的共同困扰。而本次qData商业版的大更新，就是为了解决这些最痛的痛点：整库同步、自动建表、调度执行、全链路可视化……让同步工作从此变得轻松、有序、可控。 qData商业版在本次更新中带来了9大关键能力，让整库同步变得前所未有的简单：1.整库同步：一键同步上百张表支持整库同步（如Oracle→Doris、SQLServer→Doris）支持多表手动选择极大降低重复操作成本 5.全面的容错与脏数据策略支持同步任务错误策略：错误继续错误暂停支持脏数据策略（MVP已上线配置界面）：忽略暂停继续写入脏数据表（完善中）让同步不再“一条脏数据全任务崩溃”。 5.让同步管理从“靠人”变成“靠平台”不再依赖某个熟悉脚本的人，任何人都能执行标准化同步。四、结语：同步不再难，qData让数据流动变得更简单随着数字化项目规模越来越大，数据同步任务的复杂度也在提升。 qData数据中台商业版本次整库同步能力的升级，是为了帮助企业从传统的脚本式操作中走出来，实现真正的自动化、可视化和平台化的数据同步。从此，数据同步不再是工程师的负担，而是系统的能力。
44710编辑于 2025-12-09 - 来自专栏qData数据中台
qData 数据中台商业版 v1.1.11 发布：指标管理、整库同步、ARM 适配全线提升
本次版本推出指标体系基础框架，并强化整库同步和多源集成能力，为企业加速数据中台建设提供更强支撑。 4.整库同步能力全面增强本次对整库同步进行了大幅升级：支持Oracle→Doris、SQLServer→Doris整库同步按流程配置：基础信息→输入→输出→调度输出端支持自动建表、自定义分区与副本策略新增结构预检查 ：字段差异、缺表、类型不兼容支持同步链路可视化（源表→映射→写入→日志）新增同步进度、耗时监控、日志追踪新增脏数据处理策略适用于企业历史库清洗、全库迁移、跨系统重构、数据中台建设等场景。 5.资源门户全面升级流程标准化：发布、申请、审批全链条优化移除旧版定制化内容，实现统一能力基线登录页+UI整体焕新未开放功能自动隐藏，减少误操作与主平台进行部分能力解耦，更灵活扩展更适合作为统一数据服务门户 七、版本总结qData数据中台商业版v1.1.11是一次面向指标体系建设、多源集成、整库同步与新架构适配的关键版本。
66410编辑于 2025-12-02 - 来自专栏DataLink数据中台
Dinky 构建 Flink CDC 整库入仓入湖
摘要：本文介绍了如何使用 Dinky 实时计算平台构建 Flink CDC 整库入仓入湖。 4.整库入湖 整库入湖是一个炙手可热的话题了，目前通过 FlinkCDC 进行会存在诸多问题，如需要定义大量的 DDL 和编写大量的 INSERT INTO，更为严重的是会占用大量的数据库连接，对 Mysql 通过 Schema Evolution 使 FlinkCDC 支持实时同步 schema 变更。 通过 CDAS 语法，一行 SQL 语句完成整库同步作业的定义，并合 source。 2.定义 CDCSOURCE 整库同步语法 Dinky 定义了 CDCSOURCE 整库同步的语法，该语法和 CDAS 作用相似，可以直接自动构建一个整库入仓入湖的实时任务，并且对 source 进行了合并 此外 Dinky 还支持了整库同步各种数据源的 sink，使用户可以完成入湖入仓的各种需求，欢迎验证。
5.8K20编辑于 2022-05-19 5分钟搞定：Mysql到PostgreSQL数据库实时同步
在现代企业数据架构中，跨数据库平台的数据共享已成为刚需。无论是从开源生态向更强大分析能力演进，还是出于国产化替代、多云部署等战略考量，将MySQL中的数据同步到PostgreSQL已成为高频场景。 本文将以MySQL作为源端，PostgreSQL作为目标端，手把手教你5分钟完成跨平台数据实时同步。DataMover实时同步支持Insert、Update、Delete、Truncate事件。 1.3登录平台启动成功后，访问：展开代码语言：TXTAI代码解释http://localhost:8000账号：admin密码：admin123二、实战演练：MySQL到PostgreSQL数据库实时同步 若源库新增的表可以暂停数据操作，可以新建一个一次性全量任务，同步到目标库后，再实时任务新增表，重启后，在对源库新增表进行数据操作。-目标表可自动创建或选择已有表。 脚本✅免费可用：免费版支持30张表并发同步，中小项目开箱即用结语本文以MySQL→PostgreSQL为例，展示了DataMover在异构数据库同步中的高效与便捷。
1.3K00编辑于 2026-01-05- 来自专栏架构专题
老板：把数据库变更，给整利索了
在修修补补之中，给后人留下一堆屎山之前，我们需要把数据库给整利索了。 想想吧，我们在开发环境，修改了多个字段的名称，经历了测试环境的洗礼，还搞了个预上线接受变更。 我们需要把这些数据库变更，使用git这样的工具管理起来，在系统启动的时候，能够自动变更。通过口口相传，太不可信了。 谁也不想背这个锅。翻聊天记录？有用么？都是事后诸葛亮。 一般，数据库变更，会有下面几种语句，我们都可以使用flyway来完成。 我们发现，数据库中除了用户创建的PERSON表，还多了一个叫做flyway_schema_history的表。 让我们see一see里面的内容。 如果不提供，将默认使用datasource所定义的库。 所以，最小配置，就是什么都不做，直接把变更文件，扔在变更目录下面就可以了。
1.7K20发布于 2020-12-11 - 来自专栏John Wong's Blog
Mysql 中主库跑太快，从库追不上怎么整？
但是问题就来了，读从库时的数据要与主库保持一致，那就需要主库的数据在写入后同步到从库中。如何保持主库与从库的数据一致性，主库又是通过什么样的方式将数据实时同步到从库的？ 基本原理 Mysql 中主从复制时有两个很重要的日志文件： binlog（二进制日志文件） relay log（中继日志文件） 在主从同步的过程中，主库会将所有的操作事件记录在 binlog 中，从库通过开启一个 主从延迟原因 上面的流程我们已经知道了主从复制的相关过程了，但是主库有更新就会同步从库，那为什么会出现主从延迟的情况呢？ 降低主库并发 你可能会说了，我现在用的低版本的数据库，也没法升版本啊，那我怎么整。对于主库并发高的情况，这种方式你只能通过控制并发来解决延迟了，多用用 Redis。 其中 binlog 是主从复制的基础，通过将操作事件写入 binlog 通过 I/O 线程传送至从库进行同步。
1.6K30编辑于 2021-12-27 - 来自专栏A周立SpringCloud
MySQL 中主库跑太快，从库追不上怎么整？
但是问题就来了，读从库时的数据要与主库保持一致，那就需要主库的数据在写入后同步到从库中。如何保持主库与从库的数据一致性，主库又是通过什么样的方式将数据实时同步到从库的？ 在主从同步的过程中，主库会将所有的操作事件记录在 binlog 中，从库通过开启一个 I/O 线程保持与主库的通信，并在一定时间间隔内探测 binlog 日志文件是否发生改变。 主从延迟原因 上面的流程我们已经知道了主从复制的相关过程了，但是主库有更新就会同步从库，那为什么会出现主从延迟的情况呢？ 降低主库并发 你可能会说了，我现在用的低版本的数据库，也没法升版本啊，那我怎么整。对于主库并发高的情况，这种方式你只能通过控制并发来解决延迟了，多用用 Redis。 其中 binlog 是主从复制的基础，通过将操作事件写入 binlog 通过 I/O 线程传送至从库进行同步。
1.8K20发布于 2021-01-18 - 来自专栏程序员的成长之路
MySQL 中主库跑太快，从库追不上怎么整？
但是问题就来了，读从库时的数据要与主库保持一致，那就需要主库的数据在写入后同步到从库中。如何保持主库与从库的数据一致性，主库又是通过什么样的方式将数据实时同步到从库的？ 在主从同步的过程中，主库会将所有的操作事件记录在 binlog 中，从库通过开启一个 I/O 线程保持与主库的通信，并在一定时间间隔内探测 binlog 日志文件是否发生改变。 主从延迟原因 上面的流程我们已经知道了主从复制的相关过程了，但是主库有更新就会同步从库，那为什么会出现主从延迟的情况呢？ 降低主库并发 你可能会说了，我现在用的低版本的数据库，也没法升版本啊，那我怎么整。对于主库并发高的情况，这种方式你只能通过控制并发来解决延迟了，多用用 Redis。 其中 binlog 是主从复制的基础，通过将操作事件写入 binlog 通过 I/O 线程传送至从库进行同步。
1.8K31发布于 2021-01-25 - 来自专栏JAVAandPython君
FastAPI的数据库操作终于整明白了！
今天我们要讲的是如何去操作数据库，我们还是通过我们的博客案例来给大家讲解。 在上篇文章中，我们已经将博客项目的大体框架都写好了，包括数据库引擎相关的内容。 那么我们该如何实际去操作数据库呢？ 也就是如何对数据库进行增删改查。 其实也非常的简单。 SessionLocal 还记得我们在database.py中创建的SessionLocal吗？ 今天我们将它与数据库进行具体实现。 https://docs.python.org/3/library/http.html#http.HTTPStatus fastapi也给我们提供了各种响应码的选择，只需要导入fastapi.status库 总结 今天我们实现了以下的基本数据库操作 大家最好要动手操作一下！这个非常重要。
6.3K30编辑于 2022-03-14 - 来自专栏若是烟花
MySQL主从库--同步异常
-- 负责把主库bin日志(Master_Log)内容投递到从库的中继日志上(Relay_Log) Slave_IO_Running: Yes -- 负责把中继日志上的语句在从库上执行一遍 Slave_SQL_Running 如果显示为No，则有可能以下原因导致： * 网络问题 * 权限问题，例如在配置slave同步时因为slave访问master没有权限导致 * master上的binlog文件误删或者其他问题导致的 master库突然停止更新binlog日志。 解决方案是找到同步的点和binlog文件，重新change master 相对的Slave_SQL线程就比较容易出错。例如人为的在从库插入一条数据，造成的主从库不一致。 但此时两个线程的状态仍然是正常的，主库插入数据时，到从库同步时，从库会出现主键重复的错误。
2.4K10发布于 2020-07-27 - 来自专栏编程黑洞
redis之主从库同步
redis 提供了主从库数据同步机制，从而保证数据副本的一致性，而主从库使用的是读写分离的机制。 # 1. 但如果只有主库写入，在同步给从库，则能保证所有实例中数据的一致性。 # 2. 全量复制 # 2.1 主从库同步的过程 第一阶段 从库向主库发送psync命令进行数据同步，该命令包含主库的runID和复制进度offset runID，每个实例自动生成的随机 ID，第一次从库不知道主库 第三阶段 RDB 文件发送到从库后，再 replication buffer 中的操作再发送给从库。 # 2.2 如何减少主从同步时，对主库的压力? 主从同步有哪些压力？ 在主库全量复制之后，会维护一个长连接，后需的操作命令通过该连接同步给从库 # 3. 增量复制 全量复制是通过生成 RDB 发送到从库然后进行读取后进行同步。
1K20编辑于 2023-03-06 - 来自专栏DataLink数据中台
Dinky实践系列之FlinkCDC整库实时入仓入湖
内容包括： 前言 环境要求 源库准备 整库同步参数介绍 整库入湖 Hudi 整库入仓 StarRocks 整库入库 MySQL 整库同步 Kafka 整库入库 PostgreSQL 整库入仓 ClickHouse /DataLinkDC/Dinky 欢迎大家关注 Dinky 的发展~ 一、前言 Dinky 整库同步发布已经有一段时间，通过阅读本文，您将会熟悉 Dinky 整库同步的用法。 为此Dinky 社区准备了整库同步的系列，方便大家快速上手使用。 因业界中 Sink 端的库较多，特意选择了现在比较通用或者流行的库做为演示。 并选择了 mysql-cdc做为 Source 端实现整库同步到 各 Sink 端。当然通过阅读本文，如果你的 Source 端 oracle-cdc，那么将 mysql-cdc替换即可。 对于 Dinky 整库同步的公共参数，在大多数 Sink 目标端都是适用的。
3.2K30编辑于 2023-02-26
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号