当使用MYSQL单实例,因数据量剧增出现性能问题的时候,普通的分库分表又难以满足其需求,一些客户会考虑迁移至分布式数据库。 TDSQL 分布式是一款面向金融领域的一款数据库,适合应用在海量数据、高性能,高并发的使用场景。那么我们从MYSQL迁移至TDSQL都有哪些途径呢 ? 这里我们对MYSQL离线迁移至分布式TDSQL 介绍一种方法: 使用LOAD_DATA 导入至TDSQL分布式实例 ,LOAD_DATA 是在原生 MYSQL load data 基础上,针对导入分布式 TDSQL 进行优化逻辑处理后的一款导入工具。 此工具只适用于导入TDSQL分布式 ,不适合TDSQL非分布式。究其原因是 TDSQL分布式 在插入语句中有一个严格限制,插入语句必须带有shardkey ,没有shardkey的情况下会导入失败。
背景介绍 TDSQL平台下,某系统由于业务需求,要将其中三个数据库迁移至其他实例。 TDSQL拥有DCN同步以及多源同步等迁移功能,但是由于前期部署规划问题并没有安装相关组件,因此综合考虑后,决定使用mydumper进行数据冷迁移。 正文 导出源数据 cd /data/home/tdsql/tdsqlinstall/mysqlagent/bin . 源环境下该表有一个名为tdsql_pk_auto_implicit的主键。 总结 TDSQL中,无主键的表会自动创建一个名为tdsql_pk_auto_implicit的主键,该主键只能通过jmysql的方式才可见,业务用户无法查到该主键。
本文将带来直播回顾第五篇《银行核心海量数据无损迁移:TDSQL数据库多源异构迁移方案》。 视频内容 关于TDSQL异构数据同步与迁移能力的建设以及应用方面的整个内容分四个部分: l 一是异构数据库方面包括数据分发迁移同步的背景——我们为什么要发展这一块的能力以及现在这部分服务的基本架构 ; l 二是TDSQL异构迁移能力有哪些比较好的特性,以及在实现这些特性的过程中的难点问题和我们提出的特色的解决方案; l 三是结合TDSQL现在在国产数据库的一些推广以及应用的经验,我们针对在异构数据迁移或者同步的领域场景最佳实践 当然,除了支持数据库迁移,多源异构迁移方案也支撑数据汇总、分发等业务场景,这也是TDSQL具备完善的产品服务体系的体现。 1 TDSQL异构数据迁移分发的背景及架构方案 1.1 TDSQL异构数据迁移方案的场景 image.png TDSQL作为一个金融级数据库,面对的更多是金融级场景以及金融机构客户,金融机构往往有一些比较特殊的需求
博客banner6.jpg 博客数据库迁移实践 前言 延续之前博客的风格,留下两段语录 博主语录:一文精讲一个知识点,多了你记不住,一句废话都没有 经典语录:如果你认识从前的我,那么你就会原谅现在的我 之所以写这篇文章,还是正好有刚需,我的博客数据库需要迁移使用TDSQ-C的产品,为了提升我博客速度,还是花重金去买了腾讯云数据库TDSQL的产品。 一、产品概述 TDSQL-C MySQL 版(TDSQL-C for MySQL)是腾讯云自研的新一代云原生关系型数据库。 TDSQL-C MySQL 版引擎完全兼容原生 MySQL,您可以在不修改应用程序任何代码和配置的情况下,将 MySQL 数据库迁移至 TDSQL-C MySQL 版引擎。 /document/product/1003/30488 二、 TDSQL简介 1、整体架构 2、组件 TDSQL整套系统包含的组件有: 组件缩写 组件名称 备注 Zookeeper zookeeper
private TdUserService tdUserService; @Test void TDSqlDemo(){ tdUserService.list(); } 图片 迁移测试 Mysql迁移至TDSQL @Test void MysqlToTDsql(){ List<TUser> mysqls =tUserService.list tdUserService.save(tdUser); System.out.println(""+oracle); } DM8(达梦)迁移至 TDSQL 图片 图片 图片 TDSQL-C MySQL 版(TDSQL-C for MySQL)是腾讯云自研的新一代云原生关系型数据库。 TDSQL-C MySQL 版引擎完全兼容原生 MySQL,您可以在不修改应用程序任何代码和配置的情况下,将 MySQL 数据库迁移至 TDSQL-C MySQL 版引擎。
本文将围绕语法兼容、工具链支撑、真实成本三大维度,结合实际产品表现与案例,拆解腾讯云TDSQL在迁移替换中的成本优势与选型方法。 三、主流产品迁移成本对比腾讯云TDSQL:金融级高可用与全栈国产兼容的分布式数据库语法兼容指标:TDSQL兼容SQL2016标准,支持JSON、空间类型、视图、存储过程等高级特性,对Oracle语法约99.4% 兼容,可处理超80万条业务SQL及3万多条应用SQL,大幅减少适配工作;零售核心批处理系统采用基于TDSQL-JDBC的单元化架构,业内首套,具备一键弹性伸缩能力;数字人民币业务系统完成全量全栈国产迁移 ;具备秒级自动容灾金融级高可用,支持命令行、容器、图形化安装,拥有超1800+次部署经验及“两地三中心”“多地多中心”部署能力;TDSQL迁移工具(TMT)可零侵入性完成对象评估(表、索引、约束、视图、 结合场景匹配技术路线:金融核心场景宜优先高一致性与强事务支持的产品,如TDSQL在银行、保险、证券领域的多案例已验证其在高可用与成本优化上的综合能力。
一、 产品定位与核心亮点 TDSQL是腾讯自主研发的国产数据库,支持单机、集中式主备和分布式部署模式。其核心差异化卖点在于高度兼容Oracle语法,旨在实现从Oracle数据库的平滑、低成本迁移。 二、 产品应用场景 目标受众:计划进行数据库国产化替代,特别是希望从Oracle迁移至国产数据库的企业客户。 核心痛点:迁移过程中面临的兼容性不确定、改造成本高、迁移流程复杂、技术难度大等挑战。 三、 应用框架和功能介绍 功能框架 TDSQL构建了驱动层、内核层、工具层三位一体的Oracle兼容架构: 驱动层:提供兼容的JDBC、ODBC、OCI、Pro*C驱动程序。 TDSQL-JDBC驱动:独立维护,兼容Oracle的绑定变量、块注释、数据类型映射及存储过程调用方式。 标准化迁移流程:遵循“评估、改造、迁移、校验”的标准化流程,提供全套方案支撑(如《数据库迁移整体方案》、《演练割接方案》等)。
(注:本文内容及数据全部来源于腾讯云数据库产品专家黄琳于2024年腾讯全球数字生态大会的宣讲材料《TDSQL兼容能力说明和迁移实践》) 一、 产品定位与核心亮点 TDSQL 是由腾讯自主研发的一款企业级国产数据库产品 TDSQL通过提供同一集群内支持多语法生态(如PostgreSQL和Oracle)的底层引擎,配合自研的自动化迁移评估工具链,使得企业能够以极低的应用改造成本摆脱对传统国外商业数据库(尤其是Oracle 功能框架 TDSQL构建了从底层引擎、中间驱动到上层工具的完整兼容与迁移框架: 一体化管控与引擎复用: 事务、行列存储、MPP框架、计算引擎、优化器等底层框架完全复用。 解决方案(TDSQL全套迁移服务): 企业采用 TDSQL 产品及联合生态提供的专业化服务。 使用了 TDSQL Migration Toolkits 输出对象兼容性与应用兼容性评估报告;采用 平台化数据库迁移平台 进行全量与增量数据迁移;在迁移实施中采用 双轨制上线(新老系统同步与数据校验)
近日,腾讯云数据库TDSQL 、数据库迁移平台DTS-DBbridge已与巨杉数据库SequoiaDB完成产品兼容性认证。 测试结果表明,通过DTS-DBbridge可以将巨杉数据库的常规表、分区表、主子表等表库的数据顺利迁移到TDSQL,数据同步到TDSQL后兼容性良好,数据一致性校验符合预期,整体业务运行稳定,安全可靠。 TDSQL 是腾讯自主研发的一款金融级分布式数据库产品,旗下涵盖金融级分布式、云原生等多引擎融合的完整数据库产品体系,提供业界领先的金融级高可用、存算分离、企业级安全等能力,同时具备智能运维平台、Serverless 数据库迁移平台DTS-DBbridge是一款支持异构数据库和同构数据库之间迁移和同步的企业级产品,可以帮助企业在业务不停服的前提下,支持Oracle、MySQL、MariaDB、PostgreSQL、DB2 此番,借助DTS-DBbridge的迁移能力,巨杉数据库用户可以将数据库的对象结构信息、核心数据以及应用平滑迁移至TDSQL,保障业务的平稳发展和进一步拓展。
工具层: 提供 TDSQL Migration Tool(评估、迁移、验证)及 TStudio 管理工具。 2. 迁移评估: 提供 TMT 对象迁移评估与应用迁移评估工具,输出量化兼容性评分。 四、 典型案例与迁移实践 1. 迁移解决方案架构 TDSQL 提供“产品+服务”的全套迁移解决方案,流程标准化: 工作小组: 涵盖培训赋能、方案设计、数据迁移、应用适配、演练投产。 文档支撑: 提供《TDSQL与Oracle数据库物理资源配比》、《TDSQL开发规范》、《数据库演练割接方案》等全套文档模板。 2. 迁移成效与客户收益 通过 TDSQL 替换传统商业数据库,客户获得以下量化收益: 成本优化: 软件授权费用大幅下降;硬件与存储可利旧;集成了高可用、多数据中心支持功能,无需额外付费。
腾讯云企业级分布式数据库TDSQL品牌升级后,共有三大产品系列,分别为分布式数据库TDSQL、分析型数据库TDSQL-A、云原生数据库TDSQL-C,将原TDSQL、TBase、CynosDB产品统一整合成 TDSQL。 TDSQL MySQL版为原TDSQL,TDSQL PostgreSQL版为原TBase OLTP版及HTAP版;TDSQL-A PostgreSQL 版为原TBase OLAP版,并新增 ClickHouse 因此,我们将TDSQL、TBase和CynosDB正式升级为腾讯云企业级分布式数据库TDSQL,全新升级后的TDSQL将在多元场景下实现多引擎共存,充分发挥各个引擎的特点及优势,实现极致的性能和通用。 所以目前的企业级分布式数据库TDSQL是腾讯云数据库战略升级的产物,由TDSQL、TBase和CynosDB融合而成,集成了原TDSQL、TBase和CynosDB的优势,与之前主打金融级高可用的TDSQL
TDSQL、计算与存储分离的云原生数据库 TDSQL-C 等产品,获得了云原生技术、多租户隔离能力。 TDSQL inside之路 回到2014年,这一年对于TDSQL有着特殊的意义。 这一年,不仅成功支持央视春晚,还成功接下了为微众银行提供数据库支持的项目,打出了TDSQL冲击金融领域的第一枪。 时间继续流淌,TDSQL inside之路还在继续: 平安银行信用卡A+新核心系统国产化,这是业界第一个将金融机构核心业务系统由国外大型机集中式架构迁移到国产分布式架构的成功案例;还有第七次全国人口普查 随着越来越多机构选择TDSQL,一个个大单的落地,越来越多国民级应用系统平稳运行在TDSQL之上,TDSQL给行业带来了对国产数据库的强劲信心。 TDSQL 在微信支付数据密集型应用落地实践 泛微与腾讯云TDSQL完成互认证,助力金融行业实现安全高效的协同办公
腾讯云TDSQL凭借其高兼容性、金融级高可用和弹性扩展能力,成为热门选择。 但迁移前,如何快速评估现有系统与TDSQL的兼容性?需要改动多少代码?迁移后的稳定性如何? 这些问题直接关系迁移成本与风险。 TDSQL迁移工具(TMT)应运而生!它支持自动化扫描Oracle数据库对象及SQL语法,识别潜在兼容性问题,并生成可视化报告,为迁移提供可靠依据。 兼容性评估的核心价值: 1、提前识别95%以上的语法差异 2、量化迁移工作量,预估改造成本 二、TMT工具的核心功能 TMT评估方式: 1、通过连接源端获取元数据评估,程序通过Oracle和TDSQL 迁移工具TMT 七、总结 通过TMT工具,企业可快速识别Oracle到TDSQL的迁移难点,降低改造成本。 建议在正式迁移前,优先完成兼容性评估,并根据报告制定适配计划。 立即行动,开启高效迁移之旅!
企业在实际操作中遭遇以下核心痛点: 异构数据库迁移壁垒:TDSQL数据库语法协议及支持的数据类型与原有DB2存在差异,导致对象改造困难,直接威胁数据一致性。 引入TDSQL分布式数据库,实施精准迁移与底层调优 针对某农信社的数字普惠金融信贷系统,引入腾讯云TDSQL作为核心产品进行技术架构重构,采取针对性的技术方案逐一化解迁移风险: 语法重写与多态转换:基于 TDSQL数据库的SQL语法实现原有DB2语法的原生改造;针对数据类型差异,通过多种类型转换迁移机制,确保业务数据内容在迁移前后零偏差。 从业务支撑层面,全面验证了TDSQL在复杂金融管理和核心交易系统中的高可用性与系统稳定性。 这表明基于TDSQL的改造方案不仅在技术指标上满足金融级严苛要求,更在金融信息技术应用创新领域具备极高的行业复制与推广价值。
直播互动福利:每晚直播间也同样会送出多份腾讯公仔,更有腾讯徽章、腾讯云代金券等好礼送上!快快预约报名吧! 扫码关注后回复「加群」 提前加入沙龙交流群 点击下方「阅读原文」,预约所有中意直播!
比如,TDSQL提供了完善的数据库多源同步迁移服务(TDSQL-MULTISRCSYNC),支持企业高效稳健地从传统集中型数据库迁移到新一代分布式数据库,大大降低了传统数据库迁移改造的门槛。 所谓TDSQL-MULTISRCSYNC(下文简称多源同步)模块,是TDSQL所开发的集合高性能、高一致、高可用,和安全风险控制等特性,支持多种异构数据平台的整体数据库迁移服务。 以某省广电局迁移案例为例,TDSQL多源同步迁移服务通过重新部署业务系统的迁移方式,从迁移准备、迁移评估、方案设计、资源准备及数据库改造、迁移实施、结果验证一共只使用30天。 将客户的业务系统数据库从Oracle迁移到TDSQL,TDSQL的性能满足了客户面临的现有的业务压力。而业务系统迁移过程中对数据完整性保障,为后续新业务系统运维提供了良好的数据基础。 而在一些金融级高度敏感业务系统迁移实践中,TDSQL很好地实践了兼顾性能和安全的迁移服务策略。
解决方案:TDSQL新一代敏态引擎TDStore的核心能力 TDSQL TDStore引擎基于云原生容器化架构,100%兼容MySQL 8.0语法,针对HBase痛点提供针对性解决方案: 简化运维:私有化部署基于腾讯云原生套件平台 数据迁移通过DTS(数据传输服务) 实现,从生产MySQL集群导出SQL文件,再通过myLoader工具导入至TDStore集群,或通过快照方式从HBase迁移,流程清晰。 量化收益:存储成本与查询性能双重优化 将还款记录业务从HBase迁移至TDSQL TDStore引擎后,取得显著量化收益: 存储成本降低:单副本(不含索引)数据压缩率达到25%,存储空间占用大幅下降。 “TDSQL TDStore引擎有效解决了我们历史库在性能、一致性和运维上的核心痛点,迁移过程平滑,收益立竿见影。”
2025-07-31 11:11:14.659635 ERROR [64981] getArchiveMaxWalNumPerPkg()->GetConfigItemInt() oss_cfg_param.go:457 [traceId:] [GetConfigItemInt] No this conf item 'AGENT_ARCHIVE_MAX_WAL_NUM_PER_PKG_mypg_3' 2025-07-31 11:11:14.659670 ERROR [64981] getArchiveMaxWalNumPerPkg()->GetConfigItemInt() oss_cfg_param.go:457 [traceId:] [GetConfigItemInt] No this conf item 'AGENT_ARCHIVE_MAX_WAL_NUM_PER_PKG' 2025-07-31 11:11:14.659703 ERROR [64981] getArchiveMaxWalNum()->GetConfigItemInt() oss_cfg_param.go:457 [traceId:] [GetConfigItemInt] No this conf item 'AGENT_ARCHIVE_MAX_WAL_NUM_LIMIT_mypg_3' 2025-07-31 11:11:14.659724 ERROR [64981] getArchiveMinWalNum()->GetConfigItemInt() oss_cfg_param.go:457 [traceId:] [GetConfigItemInt] No this conf item 'AGENT_ARCHIVE_MIN_WAL_NUM_LIMIT_mypg_3' 2025-07-31 11:11:14.663251 INFO [64986] ShellCommnadOut()->run_cmd_with_timeout() oss_utils.go:239 [traceId:] Finished run shell out=(PING 192.168.56.12 (192.168.56.12) 56(84) bytes of data. 64 bytes from 192.168.56.12: icmp_seq=1 ttl=64 time=0.535 ms
一、产品定位与核心亮点 技术定义:TDSQL Boundless是腾讯云TDSQL分布式引擎全新升级产品,以“以云+AI构建无限”为核心,通过弹性、敏捷、可靠、经济、兼容五大目标,解决企业数据模型多样( 商业差异化卖点:以“有限构建无限”,通过存算一体/分离、混合介质冷热分层、单机分布式自动转换等能力,实现业务无感知平滑迁移、资源成本优化与高可用保障。 产品优势 核心目标优势:弹性(与客户共同成长)、敏捷(助快速迭代)、可靠(使高枕无忧)、经济(成本可控)、兼容(应用平滑迁移)。 解决方案:用一套TDSQL Boundless实例替换两套HBase,原生支持跨可用区容灾(副本1机房A、副本2机房B、副本3机房C),单实例跨AZ部署。 总结 TDSQL Boundless作为腾讯云TDSQL分布式引擎升级产品,以“以云+AI构建无限”为核心,通过弹性架构、智能调度、AI优化及五大核心目标(弹性、敏捷、可靠、经济、兼容),有效解决金融、
语法兼容性挑战: 在迁移至国产化分布式数据库过程中,TDSQL的SQL语法协议和数据类型与DB2存在差异,导致对象改造存在技术障碍。 第二章:基于TDSQL的信贷系统分布式架构重构 本方案由腾讯云计算(北京)有限责任公司提供,核心在于将系统技术架构从DB2数据库迁移至腾讯云TDSQL分布式数据库,在保障业务连续性的同时实现架构升级: 异构数据库迁移: 基于TDSQL语法实现原有DB2语法的全面改造,通过多种类型转换迁移确保数据内容不变,业务功能和客户体验零感知。 业务连续性保障: 在迁移及后续运行中,实现了原业务功能和客户体验不变,浏览及交易行为无感知。 技术通用性: 基于腾讯云TDSQL数据库的成熟技术栈,不仅解决了DB2迁移的兼容性痛点,更通过池化资源管理为业务提供了长期的技术支撑。