- 综合排序
- 最热优先
- 最新优先
- 来自专栏DataLink数据中台
【用户投稿】Dinky整库同步Mysql至StarRocks
导读：本文由社区用户刘思林老师带来的实践小分享——Dinky 整库同步 Mysql 至 StarRocks。 目前 dinky 0.7.3 版本只支持 mysql 自动建表（不支持自动建库） 暂不支持 starrocks 自动建表建库 二、环境部署 Flink1.14.6 部署 jar包下载：https:// /dlink-release-0.7.3/plugins/flink1.14 [root@DESKTOP-UPCE76A flink1.14]# ll total 196216 drwxr-xr-x 2 user_name`, `age`) VALUES (1, 'hello3', 12); INSERT INTO `t_user` (`id`, `user_name`, `age`) VALUES (2, 首次全量同步： 新增记录： 删除记录： 修改记录： 使用感受 部署流程：官方文档很清晰，对着一遍走下来，完整跑通。
2K20编辑于 2023-09-22 - 来自专栏DataLink数据中台
Dinky on k8s 整库同步实践
摘要：本文介绍了安家老师带来的的 Dinky 在 K8S 上进行整库同步的实践分享。 内容包括： Tips：历史传送门～ 《Dinky 实践系列之 Flink Catalog 元数据管理》 《Dinky实践系列之FlinkCDC整库实时入仓入湖》 《Dinky FlinkCDC 整库入仓 StarRocks》 《Dinky 构建 Flink CDC 整库入仓入湖》 GitHub 地址 https://github.com/DataLinkDC/dlink https://gitee.com /DataLinkDC/Dinky 欢迎大家关注 Dinky 的发展~ 一、前言 本文主要讲解如何在 K8S 集群跑 Dlink+Flink 通过 Flink CDC 进行整库同步。 五、整库同步 需要确保 dlink 所在的 MySQL 的 my.conf 开了 binglog ,并且 格式为 ROW。演示 整库同步 dlink 的所有表同步到 cdc-test 中。
2.2K20编辑于 2023-02-26 - 来自专栏一臻数据
【Apache Doris】Flink Doris Connector 整库同步使用指南
一、版本说明 从版本 1.4.x 开始，Flink-connector-doris 支持整库同步 MySQL 数据库到 Apache Doris。 1.4.0：开始支持整库同步 MySQL。 1.5.0：开始支持同步 MySQL 非主键表，并扩展支持整库同步 Oracle、Postgres 和 SQL Server。 功能特性 ① 支持整库同步 MySQL、Oracle、PG 和 SQL Server 表DDL及数据到 Doris。 ② --table-conf table-buckets="tbl1:10,tbl2:20,a.*:30,b.*:40,.*:50"(since 1.5.2) 自connector 1.5.2 开始新增该参数根据正则表达式的顺序指定整库同步时表的 整库同步过程中出现Failed to execute sql: org.apache.doris.common.AnalysisException: errCode = 2, detailMessage
5.7K10编辑于 2024-12-24 - 来自专栏DataLink数据中台
Dinky从checkpoint与savepoint自动恢复整库同步作业
摘要：本文由韩公子老师带了 Dinky 实时计算平台从 checkpoint 与 savepoint 自动恢复整库同步作业的实操过程分享。 内容包括： 场景 Dinky 提交作业 自动 savepoint 恢复 自动 checkpoint 恢复 手动指定 checkpoint 恢复 总结 Tips：历史传送门～ 《Dinky on k8s 整库同步实践 》 《Dinky 实践系列之 Flink Catalog 元数据管理》 《Dinky实践系列之FlinkCDC整库实时入仓入湖》 《Dinky FlinkCDC 整库入仓 StarRocks》 GitHub dlink https://gitee.com/DataLinkDC/Dinky 欢迎大家关注 Dinky 的发展~ 一、场景 使用 Dinky 自动 savepoint、checkpoint 恢复整库同步作业 数据库中查看 SavePoint 信息 在dlink数据库中，也可以查看到保存的Savepoint元数据。
1.7K50编辑于 2023-02-26 - 来自专栏大数据学习笔记
【实操记录】Oracle数据整库同步至Apache Doris
本文是Oracle数据整库同步至Apache Doris实操记录，仅供参考 参考：https://cn.selectdb.com/blog/104 1、Oracle 配置 [root@node1 oracle SQL> SQL> shutdown immediate; 数据库已经关闭。 已经卸载数据库。 ORACLE 例程已经关闭。 SQL> alter database archivelog; 数据库已更改。 SQL> alter database open; 数据库已更改。 最早的联机日志序列 1 下一个存档日志序列 2 当前日志序列 2 SQL> ALTER DATABASE ADD SUPPLEMENTAL LOG DATA; 数据库已更改 StandaloneSessionClusterEntrypoint 12091 TaskManagerRunner 12190 Jps [root@node1 flink-1.17.1]# 5、测试同步操作
2.2K50编辑于 2023-10-18 - 来自专栏Apache Doris
一键实现 Oracle 数据整库同步至 Apache Doris
，尤其是在多表或整库同步场景中，不仅带来大量配置工作量，还增加了 FlinkSQL 脚本的维护成本。 由于每张 Source 表都会使用同一个链接，因此在整库同步时会给源端造成很大的链接压力。 Apache Doris 的整库数据同步。 此外，Doris-Flink-Connector 也可以一键实现万表 MySQL 整库同步至 Apache Doris 中来，具体使用可参考：一键实现万表 MySQL 整库同步至 Apache Doris 特别是在整库同步场景中，用户只需执行一键导入命令，即可快速将整个数据库的全量和增量数据导入到 Doris 中。这一功能的引入大大降低了数据同步的门槛，使数据同步变得更加简单高效。
2.9K21编辑于 2023-08-23 - 来自专栏DataLink数据中台
Dinky在Doris实时整库同步和模式演变的探索实践
摘要：本文总结了 Dinky 社区在 Doris Summit 2022 上分享的《Dinky 在Doris实时整库同步和模式演变的探索实践》，其分享主要分为四个章节，内容包括： 整库入仓的需求和挑战 那如何实现表结构变更自动同步及新列数据自动同步呢？这也是 FlinkCDC 整库模式演变的挑战。 · 在整库同步只用一个连接方面，FlinkCDC 的 DataStream 可以只创建一个连接来读取整库的变动数据和结构变更，而 FlinkSQL 只能读取一个表的变动数据。 Dinky 在 Doris 的整库同步+模式演变 最终呢，我们通过 Dinky 的一句 CDCSOURCE 的语句，便可以完成整库实时入库 Doris，且支持一定的模式演变能力。 对于之前讲到的全增量自动切换、元数据自动发现、表结构变更自动同步、整库同步只用一个连接、一行 SQL 部署整个作业这个五个用户诉求的功能基本实现。
7.4K40编辑于 2023-02-26 - 来自专栏一臻数据
【Apache Doris】如何一键实现MySQL万表整库同步？
导读 本文主要分享 Apache Doris 是如何一键实现MySQL万表整库同步的。 环境信息 1. 硬件信息 CPU：48C 内存：256G 2. 整库同步 （1）数据准备 基于【单表同步】的part零件信息表，新建一个db、然后copy几张相同表进行整库同步体验。 （2）整库体验 整库同步MySQL中ssb_test_part_all库中的所有表，共1600000*3条记录。 . sink-conf sink.label-prefix=label \ --table-conf replication_num=1 \ 在FLINK_HOME执行上述命令后，WEB UI中会新增相应整库同步 至此，【Apache Doris】一键实现MySQL万表整库同步 分享结束，查阅过程中若遇到问题欢迎留言交流。
2.2K10编辑于 2024-12-24 - 来自专栏qData数据中台
一键上百张表同步不是梦：qData 商业版整库同步来了
“表太多、脚本太乱、同步太难”几乎是每个工程师的共同困扰。而本次qData商业版的大更新，就是为了解决这些最痛的痛点：整库同步、自动建表、调度执行、全链路可视化……让同步工作从此变得轻松、有序、可控。 2.全靠写脚本，复杂且容易出错写一次像做一份大作业，脚本风格不统一，维护困难。3.表结构变化频繁，脚本需要不断修改稍有疏忽，同步失败，链路中断。 qData商业版在本次更新中带来了9大关键能力，让整库同步变得前所未有的简单：1.整库同步：一键同步上百张表支持整库同步（如Oracle→Doris、SQLServer→Doris）支持多表手动选择极大降低重复操作成本 2.标准化四步流程，团队协作更规范同步任务配置统一分为4步：基本信息输入配置输出配置调度配置新手也能在一分钟内学会。3.自动建表：再多字段也不怕了目标库没有表？不用自己建。 qData数据中台商业版本次整库同步能力的升级，是为了帮助企业从传统的脚本式操作中走出来，实现真正的自动化、可视化和平台化的数据同步。从此，数据同步不再是工程师的负担，而是系统的能力。
44710编辑于 2025-12-09 - 来自专栏雪胖纸的玩蛇日常
部署（2.同步数据库）
; flush privileges; quit; /etc/init.d/mysql restart #查看密码是否设置成功 mysql -u root -p #输入设置的密码+回车 quit; 2. 设置云服务器上数据库的密码 #修改服务器数据库配置文件，使之允许远程连接 vim /etc/mysql/mysql.conf.d/mysqld.cnf # 英文输入环境下，敲 i 键，进入插入模式 #上下左右键移动光标 2.本地同步数据库到服务器 1.使用Navicat for MySQL软件，新建MySQL连接，与云服务器的数据库取得远程链接 ? 2.新建MySQL链接本地数据库 3.右键本地数据库连接，选择数据传输 ? 4.选择要传输的数据库，点击开始传输 ? 5.传输成功，关闭 ? 6.查看是否同步数据库成功 #查看是否上传成功 mysql -u root -p #输入密码 show databases; #查看本地数据库是否上传上来了 quit; 7.修改服务器端数据库配置，取消远程连接权限
1.6K30发布于 2020-02-14 - 来自专栏qData数据中台
qData 数据中台商业版 v1.1.11 发布：指标管理、整库同步、ARM 适配全线提升
本次版本推出指标体系基础框架，并强化整库同步和多源集成能力，为企业加速数据中台建设提供更强支撑。 2.数据源扩展，多源集成更强大新增多类企业常见数据源：DB2数据源神州数据库RedisRabbitMQ输入/输出组件也已全面适配Redis和RabbitMQ，大幅增强跨系统数据交换与消息流数据处理能力。 4.整库同步能力全面增强本次对整库同步进行了大幅升级：支持Oracle→Doris、SQLServer→Doris整库同步按流程配置：基础信息→输入→输出→调度输出端支持自动建表、自定义分区与副本策略新增结构预检查 ：字段差异、缺表、类型不兼容支持同步链路可视化（源表→映射→写入→日志）新增同步进度、耗时监控、日志追踪新增脏数据处理策略适用于企业历史库清洗、全库迁移、跨系统重构、数据中台建设等场景。 七、版本总结qData数据中台商业版v1.1.11是一次面向指标体系建设、多源集成、整库同步与新架构适配的关键版本。
66410编辑于 2025-12-02 - 来自专栏DataLink数据中台
Dinky 构建 Flink CDC 整库入仓入湖
4.整库入湖 整库入湖是一个炙手可热的话题了，目前通过 FlinkCDC 进行会存在诸多问题，如需要定义大量的 DDL 和编写大量的 INSERT INTO，更为严重的是会占用大量的数据库连接，对 Mysql 通过 Schema Evolution 使 FlinkCDC 支持实时同步 schema 变更。 通过 CDAS 语法，一行 SQL 语句完成整库同步作业的定义，并合 source。 2.定义 CDCSOURCE 整库同步语法 Dinky 定义了 CDCSOURCE 整库同步的语法，该语法和 CDAS 作用相似，可以直接自动构建一个整库入仓入湖的实时任务，并且对 source 进行了合并 如下图为整库入湖 Hudi （两个表）。 2.元数据映射 上文分享采用了 MysqlCatalog 来获取源库的表和 schema，来映射 Flink DDL。 此外 Dinky 还支持了整库同步各种数据源的 sink，使用户可以完成入湖入仓的各种需求，欢迎验证。
5.8K20编辑于 2022-05-19 - 来自专栏裸机思维
【Arm-2D】不整活儿玩啥GUI？
上回我们说到：Arm-2D是小资源单片机的GUI人权卡、按部就班的介绍了如何在MDK工程中部署Arm-2D库，并进一步介绍了如何使用PFB Helper在“帧率和RAM占用间”实现“无级变速”。 既然是“嵌入式工程师的浪漫”，哪有不整活儿的呢？ 今天我们就在上一篇文章移植好的平台上为大家“正经”的介绍一下“某些”常用API的使用和技巧。 ? ---- 看起来效果不错——这小眼神怎么看都是那么的有“神韵”——然而，为了把节目效果拉满，我们完全可以这样整活儿： ? 怎么样，是不是血压一下就上来了？ 【“整活儿要有技术含量”】 ---- 前面的整活儿贴图，虽然效果不错，但总觉得过于缺乏技术含量，比如最简单的问题，如果我想做个“水边的神烦狗”，应该如何实现呢？ ---- 这一篇，我们通过“怒刷狗头”的方式介绍了Arm-2D一些常用API的使用，并给出了这些方法在日常应用中如何“狗头保命”的建议——比如如何实现水影背景。 然而，整活儿的步伐怎么能说停就停呢？
1.4K10发布于 2021-05-27 - 来自专栏架构专题
老板：把数据库变更，给整利索了
在修修补补之中，给后人留下一堆屎山之前，我们需要把数据库给整利索了。 想想吧，我们在开发环境，修改了多个字段的名称，经历了测试环境的洗礼，还搞了个预上线接受变更。 一般，数据库变更，会有下面几种语句，我们都可以使用flyway来完成。 Bar'); 再次执行mvn flyway:migrate，可以发现第二版本的DML信息，已经被写入到数据库。 2. 如何工作？ 那flyway是如何做到幂等的呢？ 我们使用DBeaver来打开这个h2文件。 在JDBC连接处，输入：jdbc:h2:/private/tmp/bar/target/foobar.mv.db；然后选择H2 Embedded模式。 如果不提供，将默认使用datasource所定义的库。 所以，最小配置，就是什么都不做，直接把变更文件，扔在变更目录下面就可以了。
1.7K20发布于 2020-12-11 - 来自专栏John Wong's Blog
Mysql 中主库跑太快，从库追不上怎么整？
但是问题就来了，读从库时的数据要与主库保持一致，那就需要主库的数据在写入后同步到从库中。如何保持主库与从库的数据一致性，主库又是通过什么样的方式将数据实时同步到从库的？ 基本原理 Mysql 中主从复制时有两个很重要的日志文件： binlog（二进制日志文件） relay log（中继日志文件） 在主从同步的过程中，主库会将所有的操作事件记录在 binlog 中，从库通过开启一个 主从延迟原因 上面的流程我们已经知道了主从复制的相关过程了，但是主库有更新就会同步从库，那为什么会出现主从延迟的情况呢？ 降低主库并发 你可能会说了，我现在用的低版本的数据库，也没法升版本啊，那我怎么整。对于主库并发高的情况，这种方式你只能通过控制并发来解决延迟了，多用用 Redis。 其中 binlog 是主从复制的基础，通过将操作事件写入 binlog 通过 I/O 线程传送至从库进行同步。
1.6K30编辑于 2021-12-27 - 来自专栏A周立SpringCloud
MySQL 中主库跑太快，从库追不上怎么整？
但是问题就来了，读从库时的数据要与主库保持一致，那就需要主库的数据在写入后同步到从库中。如何保持主库与从库的数据一致性，主库又是通过什么样的方式将数据实时同步到从库的？ 在主从同步的过程中，主库会将所有的操作事件记录在 binlog 中，从库通过开启一个 I/O 线程保持与主库的通信，并在一定时间间隔内探测 binlog 日志文件是否发生改变。 主从延迟原因 上面的流程我们已经知道了主从复制的相关过程了，但是主库有更新就会同步从库，那为什么会出现主从延迟的情况呢？ 降低主库并发 你可能会说了，我现在用的低版本的数据库，也没法升版本啊，那我怎么整。对于主库并发高的情况，这种方式你只能通过控制并发来解决延迟了，多用用 Redis。 其中 binlog 是主从复制的基础，通过将操作事件写入 binlog 通过 I/O 线程传送至从库进行同步。
1.8K20发布于 2021-01-18 - 来自专栏程序员的成长之路
MySQL 中主库跑太快，从库追不上怎么整？
但是问题就来了，读从库时的数据要与主库保持一致，那就需要主库的数据在写入后同步到从库中。如何保持主库与从库的数据一致性，主库又是通过什么样的方式将数据实时同步到从库的？ 在主从同步的过程中，主库会将所有的操作事件记录在 binlog 中，从库通过开启一个 I/O 线程保持与主库的通信，并在一定时间间隔内探测 binlog 日志文件是否发生改变。 主从延迟原因 上面的流程我们已经知道了主从复制的相关过程了，但是主库有更新就会同步从库，那为什么会出现主从延迟的情况呢？ 降低主库并发 你可能会说了，我现在用的低版本的数据库，也没法升版本啊，那我怎么整。对于主库并发高的情况，这种方式你只能通过控制并发来解决延迟了，多用用 Redis。 其中 binlog 是主从复制的基础，通过将操作事件写入 binlog 通过 I/O 线程传送至从库进行同步。
1.8K31发布于 2021-01-25 - 来自专栏JAVAandPython君
FastAPI的数据库操作终于整明白了！
今天我们要讲的是如何去操作数据库，我们还是通过我们的博客案例来给大家讲解。 在上篇文章中，我们已经将博客项目的大体框架都写好了，包括数据库引擎相关的内容。 那么我们该如何实际去操作数据库呢？ 也就是如何对数据库进行增删改查。 其实也非常的简单。 SessionLocal 还记得我们在database.py中创建的SessionLocal吗？ 今天我们将它与数据库进行具体实现。 https://docs.python.org/3/library/http.html#http.HTTPStatus fastapi也给我们提供了各种响应码的选择，只需要导入fastapi.status库 总结 今天我们实现了以下的基本数据库操作 大家最好要动手操作一下！这个非常重要。
6.3K30编辑于 2022-03-14 - 来自专栏若是烟花
MySQL主从库--同步异常
-- 负责把主库bin日志(Master_Log)内容投递到从库的中继日志上(Relay_Log) Slave_IO_Running: Yes -- 负责把中继日志上的语句在从库上执行一遍 Slave_SQL_Running 如果显示为No，则有可能以下原因导致： * 网络问题 * 权限问题，例如在配置slave同步时因为slave访问master没有权限导致 * master上的binlog文件误删或者其他问题导致的 master库突然停止更新binlog日志。 解决方案是找到同步的点和binlog文件，重新change master 相对的Slave_SQL线程就比较容易出错。例如人为的在从库插入一条数据，造成的主从库不一致。 但此时两个线程的状态仍然是正常的，主库插入数据时，到从库同步时，从库会出现主键重复的错误。
2.4K10发布于 2020-07-27 - 来自专栏编程黑洞
redis之主从库同步
redis 提供了主从库数据同步机制，从而保证数据副本的一致性，而主从库使用的是读写分离的机制。 # 1. 但如果只有主库写入，在同步给从库，则能保证所有实例中数据的一致性。 # 2. 全量复制 # 2.1 主从库同步的过程 第一阶段 从库向主库发送psync命令进行数据同步，该命令包含主库的runID和复制进度offset runID，每个实例自动生成的随机 ID，第一次从库不知道主库 第三阶段 RDB 文件发送到从库后，再 replication buffer 中的操作再发送给从库。 # 2.2 如何减少主从同步时，对主库的压力? 主从同步有哪些压力？ 在主库全量复制之后，会维护一个长连接，后需的操作命令通过该连接同步给从库 # 3. 增量复制 全量复制是通过生成 RDB 发送到从库然后进行读取后进行同步。
1K20编辑于 2023-03-06
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号