2025-07-31 11:11:14.659635 ERROR [64981] getArchiveMaxWalNumPerPkg()->GetConfigItemInt() oss_cfg_param.go:457 [traceId:] [GetConfigItemInt] No this conf item 'AGENT_ARCHIVE_MAX_WAL_NUM_PER_PKG_mypg_3' 2025-07-31 11:11:14.659670 ERROR [64981] getArchiveMaxWalNumPerPkg()->GetConfigItemInt() oss_cfg_param.go:457 [traceId:] [GetConfigItemInt] No this conf item 'AGENT_ARCHIVE_MAX_WAL_NUM_PER_PKG' 2025-07-31 11:11:14.659703 ERROR [64981] getArchiveMaxWalNum()->GetConfigItemInt() oss_cfg_param.go:457 [traceId:] [GetConfigItemInt] No this conf item 'AGENT_ARCHIVE_MAX_WAL_NUM_LIMIT_mypg_3' 2025-07-31 11:11:14.659724 ERROR [64981] getArchiveMinWalNum()->GetConfigItemInt() oss_cfg_param.go:457 [traceId:] [GetConfigItemInt] No this conf item 'AGENT_ARCHIVE_MIN_WAL_NUM_LIMIT_mypg_3' 2025-07-31 11:11:14.663251 INFO [64986] ShellCommnadOut()->run_cmd_with_timeout() oss_utils.go:239 [traceId:] Finished run shell out=(PING 192.168.56.12 (192.168.56.12) 56(84) bytes of data. 64 bytes from 192.168.56.12: icmp_seq=1 ttl=64 time=0.535 ms
TDSQL for PG 优化器使用动态规划自下而上的枚举所有可能的 Join Order,对于存在 left join、full join、semi join 和 anti join 的场景,TDSQL for PG 如何保证生成的 Join Order 是正确的? 2、常见的Join Reordering方式 3、Bottom-up Join Reordering 如何保证正确性和完备性 1)TDSQL for PG Outer Join 合法性检查 2)Reorderability Space 4)DPsube 5)CD-A 6)CD-B 7)CD-C 8)Rule Simplification 9)Cross Products and Degenerate Predicates 4、TDSQL for PG Join Reordering 实现分析
7月14日,腾讯云数据库TDSQL PG版的开源版本(开源代号TBase)迎来又一次重大升级:升级后的TDSQL PG V2.4.0版在2PC事务方面得到优化,易用性大幅提升,具备更强的分布式计算性能。 TDSQL PG版是一款具备HTAP(混合事务分析处理)能力、经过腾讯多年持续投入研发的数据库产品,能够提供成熟的一站式解决方案,2019年11月正式开源。 依托社区和内部业务系统的实践检验,TDSQL PG版的开源版本基本保持每月一次小升级、每半年一次重大升级的节奏,助力众多开发者应用前沿数据库技术,深度参与开源生态建设。 TDSQL PG版 升级特性抢先看 分布式计算性能提升 hasAggs/having/sort/limit/Stable function/ 优化下推到DN上执行,性能提升近百倍。 在数据库领域,腾讯云数据库致力于打造可持续的国产数据库开源生态,对TDSQL PG版不断开发和投入,版本经过大量业务验证,成熟稳定,开源版本和腾讯自用版本共基线,帮助用户快速构建核心业务,持续为客户带来价值
一、产品定位与核心亮点 TDSQL PG一体化管控平台 是腾讯云TDSQL数据库的统一运维管理平台。其核心技术属性为构建在TDSQL多内核引擎之上的一站式运维功能底座。 二、产品应用场景 该平台主要服务于需要高效运维TDSQL数据库的企业客户与数据库管理员(DBA)。 实例管理层:支持纳管MySQL模式、Oracle模式、PG模式的TDSQL实例。 工具集成层:与DBbridge迁移工具等集成。 硬核指标 支持的数据库模式:MySQL模式、Oracle模式、PG模式。 OpenAPI标准:基于腾讯云APIv3标准打造,支持调用鉴权等安全特性。 荣誉背书 (原文未提供具体的技术荣誉和奖项信息) 四、典型案例 (原文未提供具体的客户案例信息) 来源:腾讯全球数字生态大会,主讲人:任洪远,《TDSQL PG一体化管控平台》演示材料。
目前TDSQL PG版已经在金融、保险、通信、税务、政务等多个行业的核心交易系统上线运行。 TDSQL PG版介绍 1. 此外,TDSQL PG版的三权(安全、审计、管理)分立安全体系也充分满足企业对数据安全的需求。 TDSQL PG版具有六个方面的产品特性: 访问接口丰富。 在满足这些业务特征的情况下,TDSQL PG版将会是合适的选择。此外,TDSQL PG版也适用于地理信息系统、实时高并发系统以及数据库国产化等场景。 上图为TDSQL PG版的总体架构。 4.6 双轨运行方案 下图是我们的双轨运行方案,图中有两个架构,分别是Oracle To TDSQL PG版和TDSQL PG To Oracle。 业务上线前期,我们采用双轨运行,支持从Oracle到TDSQL PG版以及从TDSQL PG版到Oracle的数据同步。
TDSQL多内核引擎构建的一站式运维功能底座。 该平台旨在解决底层多引擎(MySQL、Oracle、PG模式)带来的运维复杂性,通过统一接入层整合底层接口复杂度,为用户提供集可视化部署、多集群管理、智能诊断于一体的运维解决方案。 多模支持: 基于统一架构,同时支持 MySQL模式实例、Oracle模式实例、PG模式实例 的管理。 业务开发方: 需要与数据库基础设施对接,但希望屏蔽底层不同数据库引擎(TDSQL多内核)的差异,通过标准化的OpenAPI进行安全调用。 实例管理层: 直接管理 MySQL、Oracle、PG 三种模式的实例。 2. 硬核指标 运维操作覆盖: 支持 100余项 运营操作,覆盖所有常用运营场景。
6月11日,腾讯云官方宣布,其开源版本的TDSQL PG版(开源代号TBase)即将发布重大升级,推出搭载TDSQL PG版过去一年重要特性集合的新版本:经过一年的打磨积累,上万张表访问场景下,会话内存占用节省 TDSQL PG版是腾讯自主研发的分布式数据库引擎,其于2019年开源,内核开源稳定,且持续更新。 腾讯是国内最早致力于开源的国产厂商之一,TDSQL PG版不断完善开源社区生态,打造国内最强的PostgreSQL分支,助力国内数据库生态可控。 TDSQL PG版客户广泛,主要服务政企、电商客户,服务客户包括国家税务总局深圳市税务局、数字广东“粤省事”和“粤商通”等,帮助社会和企业获得云计算时代安全可控的分布式数据库技术应用,稳定高效服务产业民生 腾讯云数据库在开源社区的影响力不断加强,拥有多名MySQL ACE专家和MySQL Award大奖得主,同时凭借为PG生态应用建设做出突出贡献,获得2020年PG亚洲社区杰出贡献奖。
TDSQL PG版 开源发展历程 TDSQL PG版(原名TBase)是腾讯自主研发的新一代分布式国产数据库,其具备业界领先的HTAP能力,属于MPP无共享架构,在企业级安全方面采用三权分立安全体系。 全新升级后的腾讯云TDSQL涵盖分布式、分析型、云原生等多引擎融合的完整数据库产品体系。TDSQL PG版则是TDSQL系列产品之一,主要针对HTAP场景。 下图是TDSQL PG版的总体框架。 值得一提的是,TDSQL PG版在2019年中标PICC,成为行业内第一个成功落地保险核心系统的分布式国产数据库。 TDSQL PG版在2019年11月7日正式宣布开源。 TDSQL PG版 开源特性回顾 2021年7月,我们进行了TDSQL PG版 2.2.0版本的升级。 TDSQL PG版 开源生态未来发展计划 在下个版本中,我们计划在以下四个方面对TDSQL PG开源版进行加强: 存储能力加强。
依托社区和内部业务系统的实践检验,TDSQL PG版基本保持每月一次小升级、每半年一次重大升级的节奏,助力众多开发者应用前沿数据库技术。 TDSQL PG版是一款具备HTAP(事务分析处理)能力、经过腾讯多年持续投入研发的数据库产品,能够提供成熟的一站式解决方案,2019年11月正式开源。 本次TDSQL PG版升级,整体响应速度更快,能有效应对这一挑战。 在下个版本中,TDSQL PG版将加强存储能力、不断优化索引,同时提升分布式状态可视化。 腾讯云对TDSQL PG版不断开发和投入,将持续给客户带来价值。 ﹀ ﹀ ﹀ -- 更多精彩 -- 腾讯云在PostgreSQL领域的‘‘再次突破’’ 一文详解TDSQL PG版Oracle兼容性实践 云原生数据库TDSQL-C PostgreSQL版内核解密
信息与数据来源:2024 腾讯全球数字生态大会《TDSQL PG 一体化管控平台使用说明》 主讲专家:任洪远(腾讯) 一、 产品定位与核心亮点 腾讯云 TDSQL PG 一体化管控平台是一款一站式数据库运维管理底座 该平台建立在支持多内核引擎(MySQL 模式、Oracle 模式、PG 模式)的强大底层存储能力之上。 业务痛点解决: 在原有多集群方案中,前端与 API 必须分别针对每个独立的 TDSQL 集群进行访问,并分别对接独立的告警与监控平台。 功能框架 一体化管控平台采用自底向上的分层架构: 底层引擎:全面支持 MySQL 模式实例、Oracle 模式实例、PG 模式实例。 多集群统一纳管 在单一平台入口下实现多个 TDSQL 集群与多模式实例的集中管理,整合前端访问与 API 调用,消除多平台切换风险。
那TDSQL PG版开源历程中经历了哪些故事?其推出重磅升级背后又有哪些核心技术的驱动呢? PART ONE TDSQL PG版开源背后的进程 腾讯云自主研发的分布式数据库引擎TDSQL PG版(开源代号TBase)的开源背后,其实经历了一段长时间的发展历程——该项目最早诞生于2008年,当时腾讯内部使用的是 2019年,TDSQL PG版(开源代号TBase)正式对外开源。 PART TWO TDSQL PG版特性解读 TDSQL PG版的整体架构是非常典型的无共享的MPP的数据库架构,最左边是GTM(事务管理器),负责协调集群事务并管理全局对象,右边是协调节点CN,它是整个数据库访问的接入节点 本次TDSQL PG版主要包含如下几大特性的重要升级: 1.
8 月 11 日,记者获悉,腾讯云数据库开源产品 TDSQL PG 版(开源代号 TBase)推出重磅升级:经过一年半的打磨,上万张表访问场景下,内存占用节省 60%;查询性能提升百倍;SQL 语句兼容性增强 在“新时代下数据库开源生态的发展与实践”技术沙龙上,腾讯云数据库技术总监李跃森介绍,TDSQL PG 版是一款具备 HTAP 能力、经过腾讯多年持续投入研发的数据库产品,能够提供成熟的一站式解决方案。 以微信支付为例,使用 TDSQL PG 版,能满足微信支付单表数据轻松突破 TB 级海量存储的需求;腾讯云开源数据库高吞吐、高并发,自动扩容的能力,也适合微信支付的业务场景。 PG 中国社区主席张文升也指出:“PostgreSQL 社区将和 TDSQL 在技术、生态、企业服务上开展更深的合作,勇于开创,为客户和企业提供更好的支持与服务。共同建设数据库开源生态。” 值得一提的是,TDSQL PG 版开源只是腾讯云数据库开源的代表作之一。事实上,腾讯云数据库在开源领域动作频频。
黄琳,腾讯云数据库高级产品经理,现任腾讯云数据库TDSQL PG版和TDSQL-A PG版产品负责人,2019年加入腾讯,负责腾讯云多款数据库产品管理和项目拓展工作,有丰富的数据库产品研发和实践经验,致力于打造业界领先的国产数据库产品 本分享将介绍腾讯云国产数据库整体布局及TDSQL-A PG版在布局中的定位和主打业务场景,并解读TDSQL-A PG版的产品特性 议题二:实时探索数据价值,深入解读TDSQL-A核心架构 ? 主要负责TDSQL PG版和TDSQL-A PG版的技术研发。 本次分享将重点展示TDSQL-A PG版的三个核心内容,包括核心架构、核心能力、客户案例等。 议题三:让海量数据“活”起来:TDSQL-A 在腾讯音乐的应用实践案例分享 ? 通过结合泛娱乐音视图实际的业务场景,以用户视觉分享海量高并发业务场景的数据库选型案例,介绍TDSQL-A PG版和TDSQL-PG版在音乐业务线的应用实践。
议题详情:作为腾讯自主研发的HTAP分布式数据库引擎,TDSQL PG版已于2019年正式开源(开源代号TBase)。 TDSQL PG版依托社区、回馈社区,在经过内部业务系统的实践检验后,多次发布重大更新。 议题四:TDSQL PG版企业级分布式数据库技术创新实践(1月8日上午10:30-11:00) 分享嘉宾:谢灿扬,腾讯云数据库高级工程师 腾讯云数据库高级工程师,PG社区顾问。 本次分享将主要介绍企业级产品TDSQL-PG在分布式全局事务,数据安全,成本优化,复杂查询性能等方面做的工作。 、用友软件等企业,具有丰富的数据库内核开发经验,目前负责TDSQL-C for PG计算层相关功能研发。
近年来,微信支付基于TDSQL PG版构建数据密集型应用,实现单表数据轻松突破TB级海量存储,TDSQL PG版高吞吐、高并发,自动扩容的能力,充分满足了微信支付的业务场景需求。 那微信支付应用TDSQL PG版的过程中经历了哪些故事?TDSQL PG版在微信支付系统中又有哪些典型应用案例呢? 1 微信支付与TDSQL PG版的陪跑历程 “如果要用一个形容词来描述微信支付与TDSQL PG版的关系,那就是‘你侬我侬’。” 腾讯高级工程师万志颖在介绍微信支付案例时表示,“TDSQL PG版为我们提供武器,微信支付则为TDSQL PG版提供了充足的试炼战场。” 2 TDSQL PG版在微信支付的应用实践 近年来,TDSQL PG版助力微信支付构建数据密集型应用,持续拓展应用场景,在多个领域体现出比较优势,保证了业务的稳定性和连续性。
为了解决这些问题,ceph引入了归置组的概念,即PG。 # PG概念 PG是一个逻辑概念,linux系统中可以直接看到对象,但是无法直接看到PG。 它在数据寻址时类似于数据库的索引:每个对象都会固定映射进一个PG中,所以当我们要寻找一个对象时,只需要先找到对象所属的PG,然后遍历这个PG就可以了,无需遍历所有对象。 PG是一种间址,PG的数量有限,记录PG跟OSD间的映射关系可行,而记录object到OSD之间的映射因为数量巨大而实际不可行或效率太低。 因为对象数无法事先知道,但是有了pg,先把对象映射到pg,然后只需计算pg到osd的映射就可以了,pg数是一定的,这样算法设计可能会简单一点。 # 原理 对象时如何映射进PG的? Backfilling 当一个新的OSD加入到集群后,CRUSH会重新规划PG将其他OSD上的部分PG迁移到这个新增的PG上。
coroot-pg-agent 和 postgres_exporter 的不同之处在于, coroot-pg-agent 主要是根据 pg_stat_statements 这个extension来采集sql coroot-pg-agent 的部署也很简单,参考官方github即可。 说明: 我这里演示的pg14,运行在1921端口上 create role coroot_pg_agent with login password '123456'; grant pg_monitor to coroot_pg_agent; 编辑pg配置文件,添加如下 shared_preload_libraries = 'pg_stat_statements' 然后重启生效 登录pg,任一个 docker run -d --name coroot-pg-agent -p 9096:80 --env DSN="postgresql://coroot_pg_agent:123456@192.168.31.181
而作为在PostgresConf.CN & PGconf.Asia2020大会——亚洲规格最高的PG技术盛会上连拿PG年度创新产品(TDSQL for PG版(原TBase)获得)和PG年度创新解决方案 (TDSQL for PG版(原TBase))两个大奖的腾讯云数据库,自然也不能缺席。 议题简介 本议题中将探讨腾讯云数据库TDSQL PG版在国产化替代和去O领域的探索和实践,分享将分成以下部分: 1.腾讯云数据库战略升级解读 2.TDSQL PG版的架构解析 3.TDSQL PG版核心特性 4.TDSQL PG版在核心业务上的探索 5.TDSQL PG版在去O国产化领域的实践 6.TDSQL PG未来的规划 1 PostgreSQL在腾讯云的云原生实践 ? 腾讯云数据库高级工程师 张治春 负责腾讯云PGSQL、TDSQL PG版及TDSQL-C(原CynosDB)PGSQL的产品运维,10年数据库管理经验,致力于自动化平台建设。
6月,腾讯云数据库TDSQL PG版 Oracle兼容能力以及TDSQL-A两大引擎全新升级,Oracle兼容性和海量数据查询分析能力再上新台阶,并将在公有云全面开放。 升级后的TDSQL PG版 Oracle兼容能力将进一步降低用户迁移改造成本,全面支持存储过程、Package管理等高级特性,同时支持分布式和集中式两种架构,用户可以根据业务需要从集中式无缝升级至分布式 Oracle兼容性大幅提升,多项高级能力发布 TDSQL PG版集高并发、高性能分析、高SQL兼容度、高扩展性、高可用性、以及企业安全审计等多项能力于一身。 目前TDSQL PG版已在云上全面开放服务,支持分布式和集中式两种产品形态。 ﹀ ﹀ ﹀ -- 更多精彩 -- 实现分区表性能提升超10倍,解密TDSQL PG版开源升级特性 一文详解TDSQL PG版Oracle兼容性实践 ↓↓点击阅读原文,了解更多优惠
postgresql weekly推荐了几款备份恢复工具,其中一个是pg_dumpbinary。 pg_dumpbinary 是一个用于转储PG数据库的工具,其中数据以二进制格式转储。 这种场景下,pg_dump会以输出格式导出数据,造成数据丢失。 3)任何其他使用二进制的场景会很有用。 如何您在这种情况下,pg_dumpbinary将通过二进制格式转储PG数据库来帮助您。 在其他所有情况下,必须使用PG分发的pg_dump/pg_restore工具。 安装 pg_dumpbinary和pg_restorebinary都是perl程序,除了perl本身、perl模块DBD::pg和DateTime外不需要任何其他东西。 PG命令pg_dump、pg_restore和psql必须通过PATH环境变量设置才可用。数据通过gzip压缩。