- 综合排序
- 最热优先
- 最新优先
- 来自专栏DataLink数据中台
【用户投稿】Dinky整库同步Mysql至StarRocks
导读：本文由社区用户刘思林老师带来的实践小分享——Dinky 整库同步 Mysql 至 StarRocks。 目前 dinky 0.7.3 版本只支持 mysql 自动建表（不支持自动建库） 暂不支持 starrocks 自动建表建库 二、环境部署 Flink1.14.6 部署 jar包下载：https:// mysql2starrocks 数据开发脚本开始使用的官方文档：http://www.dlink.top/docs/next/data_integration_guide/cdcsource_statements#%E6% 95%B4%E5%BA%93%E5%90%8C%E6%AD%A5%E5%88%B0-starrocks一直不能成功，修改后的脚本为： EXECUTE CDCSOURCE jobname WITH ( 首次全量同步： 新增记录： 删除记录： 修改记录： 使用感受 部署流程：官方文档很清晰，对着一遍走下来，完整跑通。
2K20编辑于 2023-09-22 - 来自专栏DataLink数据中台
Dinky on k8s 整库同步实践
摘要：本文介绍了安家老师带来的的 Dinky 在 K8S 上进行整库同步的实践分享。 内容包括： Tips：历史传送门～ 《Dinky 实践系列之 Flink Catalog 元数据管理》 《Dinky实践系列之FlinkCDC整库实时入仓入湖》 《Dinky FlinkCDC 整库入仓 StarRocks》 《Dinky 构建 Flink CDC 整库入仓入湖》 GitHub 地址 https://github.com/DataLinkDC/dlink https://gitee.com /DataLinkDC/Dinky 欢迎大家关注 Dinky 的发展~ 一、前言 本文主要讲解如何在 K8S 集群跑 Dlink+Flink 通过 Flink CDC 进行整库同步。 五、整库同步 需要确保 dlink 所在的 MySQL 的 my.conf 开了 binglog ,并且 格式为 ROW。演示 整库同步 dlink 的所有表同步到 cdc-test 中。
2.2K20编辑于 2023-02-26 - 来自专栏一臻数据
【Apache Doris】Flink Doris Connector 整库同步使用指南
导读 本文主要分享总结 Flink Doris Connector 整库同步的版本兼容、相关概要、功能特性、最佳实践和常见FAQ。 一、版本说明 从版本 1.4.x 开始，Flink-connector-doris 支持整库同步 MySQL 数据库到 Apache Doris。 1.4.0：开始支持整库同步 MySQL。 1.5.0：开始支持同步 MySQL 非主键表，并扩展支持整库同步 Oracle、Postgres 和 SQL Server。 功能特性 ① 支持整库同步 MySQL、Oracle、PG 和 SQL Server 表DDL及数据到 Doris。 使用整库同步 MySQL 数据到 Doris，出现 timestamp 类型与源数据相差多个小时。
5.7K10编辑于 2024-12-24 - 来自专栏DataLink数据中台
Dinky从checkpoint与savepoint自动恢复整库同步作业
摘要：本文由韩公子老师带了 Dinky 实时计算平台从 checkpoint 与 savepoint 自动恢复整库同步作业的实操过程分享。 内容包括： 场景 Dinky 提交作业 自动 savepoint 恢复 自动 checkpoint 恢复 手动指定 checkpoint 恢复 总结 Tips：历史传送门～ 《Dinky on k8s 整库同步实践 》 《Dinky 实践系列之 Flink Catalog 元数据管理》 《Dinky实践系列之FlinkCDC整库实时入仓入湖》 《Dinky FlinkCDC 整库入仓 StarRocks》 GitHub dlink https://gitee.com/DataLinkDC/Dinky 欢迎大家关注 Dinky 的发展~ 一、场景 使用 Dinky 自动 savepoint、checkpoint 恢复整库同步作业 数据库中查看 SavePoint 信息 在dlink数据库中，也可以查看到保存的Savepoint元数据。
1.7K50编辑于 2023-02-26 - 来自专栏大数据学习笔记
【实操记录】Oracle数据整库同步至Apache Doris
本文是Oracle数据整库同步至Apache Doris实操记录，仅供参考 参考：https://cn.selectdb.com/blog/104 1、Oracle 配置 [root@node1 oracle SQL> SQL> shutdown immediate; 数据库已经关闭。 已经卸载数据库。 ORACLE 例程已经关闭。 SQL> alter database archivelog; 数据库已更改。 SQL> alter database open; 数据库已更改。 SQL> quit; [root@node1 ~]# sqlplus admin/123 SQL*Plus: Release 11.2.0.2.0 Production on 星期三 6月 28 08 - 1 501 games 21043319 5月 19 07:12 flink-scala_2.12-1.17.1.jar -rw-r--r-- 1 root root 28702667 6月
2.2K50编辑于 2023-10-18 - 来自专栏Apache Doris
一键实现 Oracle 数据整库同步至 Apache Doris
，尤其是在多表或整库同步场景中，不仅带来大量配置工作量，还增加了 FlinkSQL 脚本的维护成本。 由于每张 Source 表都会使用同一个链接，因此在整库同步时会给源端造成很大的链接压力。 Apache Doris 的整库数据同步。 此外，Doris-Flink-Connector 也可以一键实现万表 MySQL 整库同步至 Apache Doris 中来，具体使用可参考：一键实现万表 MySQL 整库同步至 Apache Doris 特别是在整库同步场景中，用户只需执行一键导入命令，即可快速将整个数据库的全量和增量数据导入到 Doris 中。这一功能的引入大大降低了数据同步的门槛，使数据同步变得更加简单高效。
2.9K21编辑于 2023-08-23 - 来自专栏DataLink数据中台
Dinky在Doris实时整库同步和模式演变的探索实践
摘要：本文总结了 Dinky 社区在 Doris Summit 2022 上分享的《Dinky 在Doris实时整库同步和模式演变的探索实践》，其分享主要分为四个章节，内容包括： 整库入仓的需求和挑战 那如何实现表结构变更自动同步及新列数据自动同步呢？这也是 FlinkCDC 整库模式演变的挑战。 · 在整库同步只用一个连接方面，FlinkCDC 的 DataStream 可以只创建一个连接来读取整库的变动数据和结构变更，而 FlinkSQL 只能读取一个表的变动数据。 Dinky 在 Doris 的整库同步+模式演变 最终呢，我们通过 Dinky 的一句 CDCSOURCE 的语句，便可以完成整库实时入库 Doris，且支持一定的模式演变能力。 对于之前讲到的全增量自动切换、元数据自动发现、表结构变更自动同步、整库同步只用一个连接、一行 SQL 部署整个作业这个五个用户诉求的功能基本实现。
7.4K40编辑于 2023-02-26 - 来自专栏一臻数据
【Apache Doris】如何一键实现MySQL万表整库同步？
导读 本文主要分享 Apache Doris 是如何一键实现MySQL万表整库同步的。 环境信息 1. 硬件信息 CPU：48C 内存：256G 2. 整库同步 （1）数据准备 基于【单表同步】的part零件信息表，新建一个db、然后copy几张相同表进行整库同步体验。 （2）整库体验 整库同步MySQL中ssb_test_part_all库中的所有表，共1600000*3条记录。 . sink-conf sink.label-prefix=label \ --table-conf replication_num=1 \ 在FLINK_HOME执行上述命令后，WEB UI中会新增相应整库同步 至此，【Apache Doris】一键实现MySQL万表整库同步 分享结束，查阅过程中若遇到问题欢迎留言交流。
2.2K10编辑于 2024-12-24 - 来自专栏qData数据中台
一键上百张表同步不是梦：qData 商业版整库同步来了
“表太多、脚本太乱、同步太难”几乎是每个工程师的共同困扰。而本次qData商业版的大更新，就是为了解决这些最痛的痛点：整库同步、自动建表、调度执行、全链路可视化……让同步工作从此变得轻松、有序、可控。 5.同步过程不可见，定位问题困难进度靠猜、日志靠翻，出了问题不知卡在哪一步。6.定时同步靠手动管理忘记一次，就可能造成严重数据滞后。7.脏数据导致任务直接中断整个任务失败，又得从头来过。 qData商业版在本次更新中带来了9大关键能力，让整库同步变得前所未有的简单：1.整库同步：一键同步上百张表支持整库同步（如Oracle→Doris、SQLServer→Doris）支持多表手动选择极大降低重复操作成本 6.支持立即执行与定时执行告别手动跑脚本：Cron调度周期任务立即执行让同步从“记得执行”变成“自动准时执行”。 qData数据中台商业版本次整库同步能力的升级，是为了帮助企业从传统的脚本式操作中走出来，实现真正的自动化、可视化和平台化的数据同步。从此，数据同步不再是工程师的负担，而是系统的能力。
44710编辑于 2025-12-09 - 来自专栏用户7873631的专栏
tp6报404错误咋整？
然后重启. 就可以不用写index.php也可以运行了 但是要注意一点，就是这只是隐藏，也就是说重启后写index.php也可以出现哦切记切记.
1.1K20编辑于 2022-05-29 - 来自专栏qData数据中台
qData 数据中台商业版 v1.1.11 发布：指标管理、整库同步、ARM 适配全线提升
本次版本推出指标体系基础框架，并强化整库同步和多源集成能力，为企业加速数据中台建设提供更强支撑。 如果你正在构建企业数据中台、指标平台、多源同步系统或数据治理体系，本次更新将为你带来更高效、更标准化、更强扩展性的体验。 4.整库同步能力全面增强本次对整库同步进行了大幅升级：支持Oracle→Doris、SQLServer→Doris整库同步按流程配置：基础信息→输入→输出→调度输出端支持自动建表、自定义分区与副本策略新增结构预检查 ：字段差异、缺表、类型不兼容支持同步链路可视化（源表→映射→写入→日志）新增同步进度、耗时监控、日志追踪新增脏数据处理策略适用于企业历史库清洗、全库迁移、跨系统重构、数据中台建设等场景。 七、版本总结qData数据中台商业版v1.1.11是一次面向指标体系建设、多源集成、整库同步与新架构适配的关键版本。
66710编辑于 2025-12-02 - 来自专栏DataLink数据中台
Dinky 构建 Flink CDC 整库入仓入湖
摘要：本文介绍了如何使用 Dinky 实时计算平台构建 Flink CDC 整库入仓入湖。 4.整库入湖 整库入湖是一个炙手可热的话题了，目前通过 FlinkCDC 进行会存在诸多问题，如需要定义大量的 DDL 和编写大量的 INSERT INTO，更为严重的是会占用大量的数据库连接，对 Mysql 通过 Schema Evolution 使 FlinkCDC 支持实时同步 schema 变更。 通过 CDAS 语法，一行 SQL 语句完成整库同步作业的定义，并合 source。 2.定义 CDCSOURCE 整库同步语法 Dinky 定义了 CDCSOURCE 整库同步的语法，该语法和 CDAS 作用相似，可以直接自动构建一个整库入仓入湖的实时任务，并且对 source 进行了合并 此外 Dinky 还支持了整库同步各种数据源的 sink，使用户可以完成入湖入仓的各种需求，欢迎验证。
5.8K20编辑于 2022-05-19 - 来自专栏Linux运维之路
shell编程——实践6（文件同步）
项目名称：服务器文件同步项目背景在现代 IT 环境中，数据的可靠性和完整性对于业务连续性至关重要。随着业务规模的扩大和数据量的增长，数据同步和备份成为了数据管理的重要组成部分。 目标数据同步：实现实时或定期的数据同步，确保多个位置的数据一致性。灾难恢复：在发生数据丢失或损坏的情况下，能够快速恢复数据。性能优化：通过高效的数据同步策略减少网络带宽消耗和提高同步速度。 需求文件同步：在不同的服务器或存储设备之间同步文件。增量同步：只同步自上次同步以来更改的文件或数据。日志记录：记录同步活动，以便于审计和故障排查。自动化：定期自动执行同步任务，减少人工干预。 脚本的作用与好处实时同步：脚本能够实时或按计划同步文件，确保多个位置的数据一致性。这有助于快速识别潜在的数据不一致问题，并确保所有位置的数据是最新的。 实际应用场景数据中心同步：在不同的数据中心之间同步文件，以实现数据冗余和灾难恢复。云环境管理：在云环境中同步文件，确保多云环境或混合云环境的数据一致性。
51900编辑于 2024-08-09 - 来自专栏苏三说技术
MySQL同步ES的6种方案！
然而，如何实现两者间的高效数据同步，是架构设计中绕不开的难题。 这篇文章跟大家一起聊聊MySQL同步ES的6种主流方案，结合代码示例与场景案例，帮助开发者避开常见陷阱，做出最优技术选型。 方案一：同步双写 场景：适用于对数据实时性要求极高，且业务逻辑简单的场景，如金融交易记录同步。 在业务代码中同时写入MySQL与ES。 方案二：异步双写 场景：电商订单状态更新后需同步至ES供客服系统检索。 我们可以使用MQ进行解耦。 方案五：DataX批量同步 场景：将历史订单数据从分库分表MySQL迁移至ES。 该方案是大数据迁移的首选。 ElasticsearchSink()); 优势： 状态管理：精准处理乱序事件（Watermark机制） 维表关联：通过Broadcast State实现实时画像关联 总结： 对于文章上面给出的这6种技术方案
3.1K11编辑于 2025-05-06 - 来自专栏测试基础
【Java多线程-6】synchronized同步锁
我们可以把它理解为一个同步工具，也可以描述为一种同步机制，它通常被描述为一个对象。 调用这个代码块的单个对象 2 同步方法 被synchronized修饰的方法 调用该方法的单个对象 3 同步静态方法 被synchronized修饰的静态方法 静态方法所属类的所有对象 4 同步类 被 synchronized修饰的代码块 该类的所有对象 2.1 同步代码块 同步代码块就是将需要的同步的代码使用同步锁包裹起来，这样能减少阻塞，提高程序效率。 当然，还可以在子类方法中调用父类中相应的方法，这样虽然子类中的方法不是同步的，但子类调用了父类的同步方法，因此，子类的方法也就相当于同步了。 在定义接口方法时不能使用synchronized关键字。 同步静态方法可以解决同步方法和同步代码块中的一个问题：new 两个对象的话，等于有两把锁，无法保证线程安全。
1.2K30发布于 2020-09-16 - 来自专栏架构专题
老板：把数据库变更，给整利索了
在修修补补之中，给后人留下一堆屎山之前，我们需要把数据库给整利索了。 想想吧，我们在开发环境，修改了多个字段的名称，经历了测试环境的洗礼，还搞了个预上线接受变更。 我们需要把这些数据库变更，使用git这样的工具管理起来，在系统启动的时候，能够自动变更。通过口口相传，太不可信了。 谁也不想背这个锅。翻聊天记录？有用么？都是事后诸葛亮。 一般，数据库变更，会有下面几种语句，我们都可以使用flyway来完成。 我们发现，数据库中除了用户创建的PERSON表，还多了一个叫做flyway_schema_history的表。 让我们see一see里面的内容。 如果不提供，将默认使用datasource所定义的库。 所以，最小配置，就是什么都不做，直接把变更文件，扔在变更目录下面就可以了。
1.7K20发布于 2020-12-11 - 来自专栏John Wong's Blog
Mysql 中主库跑太快，从库追不上怎么整？
但是问题就来了，读从库时的数据要与主库保持一致，那就需要主库的数据在写入后同步到从库中。如何保持主库与从库的数据一致性，主库又是通过什么样的方式将数据实时同步到从库的？ 基本原理 Mysql 中主从复制时有两个很重要的日志文件： binlog（二进制日志文件） relay log（中继日志文件） 在主从同步的过程中，主库会将所有的操作事件记录在 binlog 中，从库通过开启一个 主从延迟原因 上面的流程我们已经知道了主从复制的相关过程了，但是主库有更新就会同步从库，那为什么会出现主从延迟的情况呢？ 降低主库并发 你可能会说了，我现在用的低版本的数据库，也没法升版本啊，那我怎么整。对于主库并发高的情况，这种方式你只能通过控制并发来解决延迟了，多用用 Redis。 其中 binlog 是主从复制的基础，通过将操作事件写入 binlog 通过 I/O 线程传送至从库进行同步。
1.6K30编辑于 2021-12-27 - 来自专栏程序员的成长之路
MySQL 中主库跑太快，从库追不上怎么整？
但是问题就来了，读从库时的数据要与主库保持一致，那就需要主库的数据在写入后同步到从库中。如何保持主库与从库的数据一致性，主库又是通过什么样的方式将数据实时同步到从库的？ 在主从同步的过程中，主库会将所有的操作事件记录在 binlog 中，从库通过开启一个 I/O 线程保持与主库的通信，并在一定时间间隔内探测 binlog 日志文件是否发生改变。 主从延迟原因 上面的流程我们已经知道了主从复制的相关过程了，但是主库有更新就会同步从库，那为什么会出现主从延迟的情况呢？ 降低主库并发 你可能会说了，我现在用的低版本的数据库，也没法升版本啊，那我怎么整。对于主库并发高的情况，这种方式你只能通过控制并发来解决延迟了，多用用 Redis。 其中 binlog 是主从复制的基础，通过将操作事件写入 binlog 通过 I/O 线程传送至从库进行同步。
1.8K31发布于 2021-01-25 - 来自专栏A周立SpringCloud
MySQL 中主库跑太快，从库追不上怎么整？
但是问题就来了，读从库时的数据要与主库保持一致，那就需要主库的数据在写入后同步到从库中。如何保持主库与从库的数据一致性，主库又是通过什么样的方式将数据实时同步到从库的？ 在主从同步的过程中，主库会将所有的操作事件记录在 binlog 中，从库通过开启一个 I/O 线程保持与主库的通信，并在一定时间间隔内探测 binlog 日志文件是否发生改变。 主从延迟原因 上面的流程我们已经知道了主从复制的相关过程了，但是主库有更新就会同步从库，那为什么会出现主从延迟的情况呢？ 降低主库并发 你可能会说了，我现在用的低版本的数据库，也没法升版本啊，那我怎么整。对于主库并发高的情况，这种方式你只能通过控制并发来解决延迟了，多用用 Redis。 其中 binlog 是主从复制的基础，通过将操作事件写入 binlog 通过 I/O 线程传送至从库进行同步。
1.8K20发布于 2021-01-18 - 来自专栏JAVAandPython君
FastAPI的数据库操作终于整明白了！
今天我们要讲的是如何去操作数据库，我们还是通过我们的博客案例来给大家讲解。 在上篇文章中，我们已经将博客项目的大体框架都写好了，包括数据库引擎相关的内容。 那么我们该如何实际去操作数据库呢？ 也就是如何对数据库进行增删改查。 其实也非常的简单。 SessionLocal 还记得我们在database.py中创建的SessionLocal吗？ 今天我们将它与数据库进行具体实现。 https://docs.python.org/3/library/http.html#http.HTTPStatus fastapi也给我们提供了各种响应码的选择，只需要导入fastapi.status库 总结 今天我们实现了以下的基本数据库操作 大家最好要动手操作一下！这个非常重要。
6.3K30编辑于 2022-03-14
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号