- 综合排序
- 最热优先
- 最新优先
- 来自专栏DataLink数据中台
Dinky on k8s 整库同步实践
摘要：本文介绍了安家老师带来的的 Dinky 在 K8S 上进行整库同步的实践分享。 内容包括： Tips：历史传送门～ 《Dinky 实践系列之 Flink Catalog 元数据管理》 《Dinky实践系列之FlinkCDC整库实时入仓入湖》 《Dinky FlinkCDC 整库入仓 StarRocks》 《Dinky 构建 Flink CDC 整库入仓入湖》 GitHub 地址 https://github.com/DataLinkDC/dlink https://gitee.com /DataLinkDC/Dinky 欢迎大家关注 Dinky 的发展~ 一、前言 本文主要讲解如何在 K8S 集群跑 Dlink+Flink 通过 Flink CDC 进行整库同步。 五、整库同步 需要确保 dlink 所在的 MySQL 的 my.conf 开了 binglog ,并且 格式为 ROW。演示 整库同步 dlink 的所有表同步到 cdc-test 中。
2.2K20编辑于 2023-02-26 - 来自专栏DataLink数据中台
【用户投稿】Dinky整库同步Mysql至StarRocks
导读：本文由社区用户刘思林老师带来的实践小分享——Dinky 整库同步 Mysql 至 StarRocks。 目前 dinky 0.7.3 版本只支持 mysql 自动建表（不支持自动建库） 暂不支持 starrocks 自动建表建库 二、环境部署 Flink1.14.6 部署 jar包下载：https:// CREATE DATABASE `flinkcdc` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci; -- 使用指定数据库 use `flinkcdc sink.sink.buffer-flush.interval-ms' = '15000', 'sink.sink.parallelism' = '1' ) 日志查看 配置中心 -> 系统信息 -> logs： TaskManager 日志： 同步效果 首次全量同步： 新增记录： 删除记录： 修改记录： 使用感受 部署流程：官方文档很清晰，对着一遍走下来，完整跑通。
2K20编辑于 2023-09-22 - 来自专栏一臻数据
【Apache Doris】Flink Doris Connector 整库同步使用指南
导读 本文主要分享总结 Flink Doris Connector 整库同步的版本兼容、相关概要、功能特性、最佳实践和常见FAQ。 一、版本说明 从版本 1.4.x 开始，Flink-connector-doris 支持整库同步 MySQL 数据库到 Apache Doris。 1.4.0：开始支持整库同步 MySQL。 1.5.0：开始支持同步 MySQL 非主键表，并扩展支持整库同步 Oracle、Postgres 和 SQL Server。 功能特性 ① 支持整库同步 MySQL、Oracle、PG 和 SQL Server 表DDL及数据到 Doris。 由于历史原因和版本兼容性问题，整库同步过程中默认配置了时区设置为 `timezone="UTC+8"`。如果您需要同步的数据来源于不同的时区，您可以通过调整配置来匹配正确的时区。
5.7K10编辑于 2024-12-24 - 来自专栏DataLink数据中台
Dinky从checkpoint与savepoint自动恢复整库同步作业
摘要：本文由韩公子老师带了 Dinky 实时计算平台从 checkpoint 与 savepoint 自动恢复整库同步作业的实操过程分享。 内容包括： 场景 Dinky 提交作业 自动 savepoint 恢复 自动 checkpoint 恢复 手动指定 checkpoint 恢复 总结 Tips：历史传送门～ 《Dinky on k8s 整库同步实践》 《Dinky 实践系列之 Flink Catalog 元数据管理》 《Dinky实践系列之FlinkCDC整库实时入仓入湖》 《Dinky FlinkCDC 整库入仓 StarRocks dlink https://gitee.com/DataLinkDC/Dinky 欢迎大家关注 Dinky 的发展~ 一、场景 使用 Dinky 自动 savepoint、checkpoint 恢复整库同步作业 数据库中查看 SavePoint 信息 在dlink数据库中，也可以查看到保存的Savepoint元数据。
1.7K50编辑于 2023-02-26 - 来自专栏大数据学习笔记
【实操记录】Oracle数据整库同步至Apache Doris
本文是Oracle数据整库同步至Apache Doris实操记录，仅供参考 参考：https://cn.selectdb.com/blog/104 1、Oracle 配置 [root@node1 oracle SQL> SQL> shutdown immediate; 数据库已经关闭。 已经卸载数据库。 ORACLE 例程已经关闭。 SQL> alter database archivelog; 数据库已更改。 SQL> alter database open; 数据库已更改。 StandaloneSessionClusterEntrypoint 12091 TaskManagerRunner 12190 Jps [root@node1 flink-1.17.1]# 5、测试同步操作 Job has been submitted with JobID fd244bcb10f06e5aa801d2708441bb86 登录Doris查看同步效果 [root@node1 doris-2.0
2.2K50编辑于 2023-10-18 - 来自专栏Apache Doris
一键实现 Oracle 数据整库同步至 Apache Doris
，尤其是在多表或整库同步场景中，不仅带来大量配置工作量，还增加了 FlinkSQL 脚本的维护成本。 由于每张 Source 表都会使用同一个链接，因此在整库同步时会给源端造成很大的链接压力。 Apache Doris 的整库数据同步。 此外，Doris-Flink-Connector 也可以一键实现万表 MySQL 整库同步至 Apache Doris 中来，具体使用可参考：一键实现万表 MySQL 整库同步至 Apache Doris 特别是在整库同步场景中，用户只需执行一键导入命令，即可快速将整个数据库的全量和增量数据导入到 Doris 中。这一功能的引入大大降低了数据同步的门槛，使数据同步变得更加简单高效。
2.9K21编辑于 2023-08-23 - 来自专栏DataLink数据中台
Dinky在Doris实时整库同步和模式演变的探索实践
摘要：本文总结了 Dinky 社区在 Doris Summit 2022 上分享的《Dinky 在Doris实时整库同步和模式演变的探索实践》，其分享主要分为四个章节，内容包括： 整库入仓的需求和挑战 那如何实现表结构变更自动同步及新列数据自动同步呢？这也是 FlinkCDC 整库模式演变的挑战。 · 在整库同步只用一个连接方面，FlinkCDC 的 DataStream 可以只创建一个连接来读取整库的变动数据和结构变更，而 FlinkSQL 只能读取一个表的变动数据。 Dinky 在 Doris 的整库同步+模式演变 最终呢，我们通过 Dinky 的一句 CDCSOURCE 的语句，便可以完成整库实时入库 Doris，且支持一定的模式演变能力。 对于之前讲到的全增量自动切换、元数据自动发现、表结构变更自动同步、整库同步只用一个连接、一行 SQL 部署整个作业这个五个用户诉求的功能基本实现。
7.4K40编辑于 2023-02-26 - 来自专栏一臻数据
【Apache Doris】如何一键实现MySQL万表整库同步？
导读 本文主要分享 Apache Doris 是如何一键实现MySQL万表整库同步的。 环境信息 1. 硬件信息 CPU：48C 内存：256G 2. 整库同步 （1）数据准备 基于【单表同步】的part零件信息表，新建一个db、然后copy几张相同表进行整库同步体验。 （2）整库体验 整库同步MySQL中ssb_test_part_all库中的所有表，共1600000*3条记录。 . sink-conf sink.label-prefix=label \ --table-conf replication_num=1 \ 在FLINK_HOME执行上述命令后，WEB UI中会新增相应整库同步 至此，【Apache Doris】一键实现MySQL万表整库同步 分享结束，查阅过程中若遇到问题欢迎留言交流。
2.2K10编辑于 2024-12-24 - 来自专栏qData数据中台
一键上百张表同步不是梦：qData 商业版整库同步来了
“表太多、脚本太乱、同步太难”几乎是每个工程师的共同困扰。而本次qData商业版的大更新，就是为了解决这些最痛的痛点：整库同步、自动建表、调度执行、全链路可视化……让同步工作从此变得轻松、有序、可控。 3.表结构变化频繁，脚本需要不断修改稍有疏忽，同步失败，链路中断。4.目标库没有表，还要手动建表字段多得像“下雨”，新建过程非常费时。 qData商业版在本次更新中带来了9大关键能力，让整库同步变得前所未有的简单：1.整库同步：一键同步上百张表支持整库同步（如Oracle→Doris、SQLServer→Doris）支持多表手动选择极大降低重复操作成本 8.同步链路可视化：快速定位问题系统自动绘制链路拓扑：源→映射→Doris写入→指标&日志卡在哪一步，一眼就看到，排查问题效率大幅提升。 qData数据中台商业版本次整库同步能力的升级，是为了帮助企业从传统的脚本式操作中走出来，实现真正的自动化、可视化和平台化的数据同步。从此，数据同步不再是工程师的负担，而是系统的能力。
44710编辑于 2025-12-09 - 来自专栏摘繁华
U8数据库同步至WMS数据库语句
U8数据库同步至WMS数据库语句 1. 静态数据 1.1. om.MoDId = od.MoDId INNER JOIN mom_order o ON od.MoId = o.MoId WHERE om.WIPType = 3 --只有领料的物料才同步 MaterialAppVouchs od INNER JOIN MaterialAppVouch o ON o.id = od.ID WHERE --od.WIPType = 3 AND --只有领料的物料才同步 INNER JOIN mom_replenishapply o ON o.ApplyId = od.ApplyId WHERE ods.WIPType = 3 AND --只有领料的物料才同步 Rdrecords09 od INNER JOIN RdRecord09 o ON od.ID = o.ID WHERE --od.WIPType = 3 AND --只有领料的物料才同步
1.4K20编辑于 2022-08-31 - 来自专栏摘繁华
U8数据库同步至WMS数据库语句
U8数据库同步至WMS数据库语句 1. 静态数据 1.1. om.MoDId = od.MoDId INNER JOIN mom_order o ON od.MoId = o.MoId WHERE om.WIPType = 3 --只有领料的物料才同步 MaterialAppVouchs od INNER JOIN MaterialAppVouch o ON o.id = od.ID WHERE --od.WIPType = 3 AND --只有领料的物料才同步 INNER JOIN mom_replenishapply o ON o.ApplyId = od.ApplyId WHERE ods.WIPType = 3 AND --只有领料的物料才同步 Rdrecords09 od INNER JOIN RdRecord09 o ON od.ID = o.ID WHERE --od.WIPType = 3 AND --只有领料的物料才同步
1.4K20编辑于 2022-05-09 - 来自专栏算法码上来
具体数学-第8课（取整进阶）
原文链接： 具体数学-第8课 - WeiYang Bloggodweiyang.com 今天主要讲了取整与递归式的结合，还有取模的相关知识。
49720发布于 2020-03-24 - 来自专栏qData数据中台
qData 数据中台商业版 v1.1.11 发布：指标管理、整库同步、ARM 适配全线提升
本次版本推出指标体系基础框架，并强化整库同步和多源集成能力，为企业加速数据中台建设提供更强支撑。 如果你正在构建企业数据中台、指标平台、多源同步系统或数据治理体系，本次更新将为你带来更高效、更标准化、更强扩展性的体验。 4.整库同步能力全面增强本次对整库同步进行了大幅升级：支持Oracle→Doris、SQLServer→Doris整库同步按流程配置：基础信息→输入→输出→调度输出端支持自动建表、自定义分区与副本策略新增结构预检查 ：字段差异、缺表、类型不兼容支持同步链路可视化（源表→映射→写入→日志）新增同步进度、耗时监控、日志追踪新增脏数据处理策略适用于企业历史库清洗、全库迁移、跨系统重构、数据中台建设等场景。 七、版本总结qData数据中台商业版v1.1.11是一次面向指标体系建设、多源集成、整库同步与新架构适配的关键版本。
66410编辑于 2025-12-02 - 来自专栏DataLink数据中台
Dinky 构建 Flink CDC 整库入仓入湖
摘要：本文介绍了如何使用 Dinky 实时计算平台构建 Flink CDC 整库入仓入湖。 4.整库入湖 整库入湖是一个炙手可热的话题了，目前通过 FlinkCDC 进行会存在诸多问题，如需要定义大量的 DDL 和编写大量的 INSERT INTO，更为严重的是会占用大量的数据库连接，对 Mysql 通过 Schema Evolution 使 FlinkCDC 支持实时同步 schema 变更。 通过 CDAS 语法，一行 SQL 语句完成整库同步作业的定义，并合 source。 2.定义 CDCSOURCE 整库同步语法 Dinky 定义了 CDCSOURCE 整库同步的语法，该语法和 CDAS 作用相似，可以直接自动构建一个整库入仓入湖的实时任务，并且对 source 进行了合并 此外 Dinky 还支持了整库同步各种数据源的 sink，使用户可以完成入湖入仓的各种需求，欢迎验证。
5.8K20编辑于 2022-05-19 - 来自专栏运维监控日志分析
rsync + sersync 数据同步 -- CentOS 8
使用快速增量备份工具 Remote Sync 可以远程同步，支持本地复制，或者与其他 SSH、rsync 主机同步。 sersync 是基于 inotify 开发的，类似于 inotify-tools 的工具，对指定目录文件进行监听（记录具体文件 目录的增加、删除、修改），通过 rsync 进行数据增量同步，只同步发生变化的文件或者目录 rsync+sersync 数据同步 1. sersync 监控指定目录 文件事件变化； 2. sersync 调用 rsync 客户端命令将更新的目录和文件增量同步到 rsync 服务器，实现数据同步 exclude=web # 同步目录中去除的目录，即 web 不同步 comment=data # 注释，注释内容可自己定义，起提示作用 read only 数据同步测试 源服务器创建文件 ? 目的服务器查看 ? rsync 数据同步日志 ?
2K20发布于 2020-07-16 - 来自专栏架构专题
老板：把数据库变更，给整利索了
在修修补补之中，给后人留下一堆屎山之前，我们需要把数据库给整利索了。 想想吧，我们在开发环境，修改了多个字段的名称，经历了测试环境的洗礼，还搞了个预上线接受变更。 我们需要把这些数据库变更，使用git这样的工具管理起来，在系统启动的时候，能够自动变更。通过口口相传，太不可信了。 谁也不想背这个锅。翻聊天记录？有用么？都是事后诸葛亮。 一般，数据库变更，会有下面几种语句，我们都可以使用flyway来完成。 我们发现，数据库中除了用户创建的PERSON表，还多了一个叫做flyway_schema_history的表。 让我们see一see里面的内容。 如果不提供，将默认使用datasource所定义的库。 所以，最小配置，就是什么都不做，直接把变更文件，扔在变更目录下面就可以了。
1.7K20发布于 2020-12-11 - 来自专栏John Wong's Blog
Mysql 中主库跑太快，从库追不上怎么整？
但是问题就来了，读从库时的数据要与主库保持一致，那就需要主库的数据在写入后同步到从库中。如何保持主库与从库的数据一致性，主库又是通过什么样的方式将数据实时同步到从库的？ 基本原理 Mysql 中主从复制时有两个很重要的日志文件： binlog（二进制日志文件） relay log（中继日志文件） 在主从同步的过程中，主库会将所有的操作事件记录在 binlog 中，从库通过开启一个 主从延迟原因 上面的流程我们已经知道了主从复制的相关过程了，但是主库有更新就会同步从库，那为什么会出现主从延迟的情况呢？ 降低主库并发 你可能会说了，我现在用的低版本的数据库，也没法升版本啊，那我怎么整。对于主库并发高的情况，这种方式你只能通过控制并发来解决延迟了，多用用 Redis。 其中 binlog 是主从复制的基础，通过将操作事件写入 binlog 通过 I/O 线程传送至从库进行同步。
1.6K30编辑于 2021-12-27 - 来自专栏A周立SpringCloud
MySQL 中主库跑太快，从库追不上怎么整？
但是问题就来了，读从库时的数据要与主库保持一致，那就需要主库的数据在写入后同步到从库中。如何保持主库与从库的数据一致性，主库又是通过什么样的方式将数据实时同步到从库的？ 在主从同步的过程中，主库会将所有的操作事件记录在 binlog 中，从库通过开启一个 I/O 线程保持与主库的通信，并在一定时间间隔内探测 binlog 日志文件是否发生改变。 主从延迟原因 上面的流程我们已经知道了主从复制的相关过程了，但是主库有更新就会同步从库，那为什么会出现主从延迟的情况呢？ 降低主库并发 你可能会说了，我现在用的低版本的数据库，也没法升版本啊，那我怎么整。对于主库并发高的情况，这种方式你只能通过控制并发来解决延迟了，多用用 Redis。 其中 binlog 是主从复制的基础，通过将操作事件写入 binlog 通过 I/O 线程传送至从库进行同步。
1.8K20发布于 2021-01-18 - 来自专栏程序员的成长之路
MySQL 中主库跑太快，从库追不上怎么整？
但是问题就来了，读从库时的数据要与主库保持一致，那就需要主库的数据在写入后同步到从库中。如何保持主库与从库的数据一致性，主库又是通过什么样的方式将数据实时同步到从库的？ 在主从同步的过程中，主库会将所有的操作事件记录在 binlog 中，从库通过开启一个 I/O 线程保持与主库的通信，并在一定时间间隔内探测 binlog 日志文件是否发生改变。 主从延迟原因 上面的流程我们已经知道了主从复制的相关过程了，但是主库有更新就会同步从库，那为什么会出现主从延迟的情况呢？ 降低主库并发 你可能会说了，我现在用的低版本的数据库，也没法升版本啊，那我怎么整。对于主库并发高的情况，这种方式你只能通过控制并发来解决延迟了，多用用 Redis。 其中 binlog 是主从复制的基础，通过将操作事件写入 binlog 通过 I/O 线程传送至从库进行同步。
1.8K31发布于 2021-01-25 - 来自专栏JAVAandPython君
FastAPI的数据库操作终于整明白了！
今天我们要讲的是如何去操作数据库，我们还是通过我们的博客案例来给大家讲解。 在上篇文章中，我们已经将博客项目的大体框架都写好了，包括数据库引擎相关的内容。 那么我们该如何实际去操作数据库呢？ 也就是如何对数据库进行增删改查。 其实也非常的简单。 SessionLocal 还记得我们在database.py中创建的SessionLocal吗？ 今天我们将它与数据库进行具体实现。 https://docs.python.org/3/library/http.html#http.HTTPStatus fastapi也给我们提供了各种响应码的选择，只需要导入fastapi.status库 总结 今天我们实现了以下的基本数据库操作 大家最好要动手操作一下！这个非常重要。
6.3K30编辑于 2022-03-14
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号