首页
学习
活动
专区
圈层
工具
发布
技术百科首页 >TDSQL-A PostgreSQL 版

TDSQL-A PostgreSQL 版

修改于 2023-07-24 16:54:26
623
概述

TDSQL-A PostgreSQL 版(TDSQL-A for PostgreSQL)是腾讯自主研发的分布式分析型数据库系统,产品采用无共享架构,具有自研高压缩比列式存储引擎和高性能的新一代向量化执行引擎,支持行列混合存储。支持完整的分布式事务 ACID 能力,全面兼容 PostgreSQL,高度兼容 Oracle 语法,支持多级容灾以及高安全能力,为您提供高效的海量数据存储和在线分析处理能力。适用于 GB ~ PB 级的海量 OLAP 场景。

TDSQL-A PostgreSQL版有什么产品特点?

行列混合存储

为更好地提供 OLAP 能力,TDSQL-A PostgreSQL版 在兼容 PostgreSQL 生态的行式存储基础上,还自研了列式存储引擎,提供完整的列存储能力,业务可以根据需要对写入数据库中的数据选择对应存储格式,提供高效的行列混合查询能力。 列存储支持强大的压缩能力,包括透明压缩和轻量级压缩,透明压缩支持 zlib,zstd 等压缩算法,轻量级压缩算法支持 delta,rle,bitpack 算法,可根据数据的特征自动调整优化算法进行高效压缩,最高压缩比达400:1。

高效复杂查询

TDSQL-A PostgreSQL版 自研新一代向量化执行引擎,对于复杂查询有高效的处理能力,能实现万亿数据关联分析秒级响应,性能相比开源和传统的数据仓库提升数倍至数百倍;具备强大的 OLAP 分析能力。

业务平滑迁移

支持 SQL2011 语法规范,语法完整兼容 PostgreSQL,高度兼容 Oracle 语法,且配备有腾讯 DBbridge 迁移工具,支持业务系统尽可能平滑地迁移到 TDSQL-A PostgreSQL版。

企业级数据安全

支持安全管理员、审计管理员、数据管理员三权分立体系,提供数据存储加密、数据脱敏访问、强制访问控制、数据审计等多个层级的策略保障数据安全

完整分布式事务

支持完整的事务 ACID 能力,并且支持全局事务一致性;通过全局事务管理节点来管理分布式事务,通过拥有自主专利的分布式事务一致性技术,来保证数据在分布式架构下的一致性和高效性。

丰富的生态支持

TDSQL-A PostgreSQL版 具有丰富的周边生态:

  • 支持强大的地理信息系统(GIS)。通过集群化的 PostGis 插件,支持存储空间地理数据,使 TDSQL-A PostgreSQL版 成为一个空间数据库,能够通过 SQL 语言高效的进行空间数据管理、数量测量和几何拓扑分析。
  • TDSQL-A PostgreSQL版 不仅是一个分布式关系型数据库系统,同时还支持非关系数据类型 JSON
  • 支持 Foreign Data Wrappers(FDW)功能,该功能实现了部分的 SQL/MED 规定,允许用户使用普通 SQL 查询来访问位于 PostgreSQL 之外的数据。 FDW 功能提供一套编程接口,用户可进行插件式的二次开发,建立外部数据源和数据库间的数据通道。大多数情况下用户可用 oracle_fdw、mysql_fdw、postgres_fdw,非关系型数据库的 redis_fdw、mongodb_fdw,以及大数据的 hive_fdw、hdfs_fdw 等。基于 FDW 功能和已有插件,TDSQL-A PostgreSQL版 提供强大的数据库联邦能力,通过 TDSQL-A PostgreSQL版 能够访问已有的多个数据源的数据。
  • 支持通过数据迁移和同步服务及工具,便捷地将不同部署方式的源端数据同步至 TDSQL-A PostgreSQL版,包括腾讯云、自建或其他云数据库。同步功能稳定,性能优异,让您获得一体化数据体验。

TDSQL-A PostgreSQL版有什么产品功能?

支持列式存储和多种压缩算法

TDSQL-A PostgreSQL版 支持列式存储,客户可以根据自己的业务需求把表定义为列存表,一般建议对于大宽表及有高压缩需求的表可以设置为列存表。 列存表支持多种压缩算法,包括 delta,zlib,zstd,rle,bitpack 压缩算法,不同压缩算法支持不同的压缩级别,TDSQL-A PostgreSQL版 支持新一代列存存储向量化执行引擎,对行列混合存储和查询能提供很高效的查询性能。

高效分布式 JOIN 计算

业务分析场景,通常会有2个或多个表关联(JOIN)的逻辑,此逻辑在单机模式中是一个简单的操作,但在集群模式下,由于数据分布在1个或多个物理节点中,处理会相对复杂。在很多分布式解决方案中,JOIN 会把数据拉取到一个节点,进行关联计算,不仅耗费了大量网络资源,且语句的执行耗时会很高。

TDSQL-A PostgreSQL版 通过如下方式对分布式 JOIN 进行高效计算,基于高效的全局查询计划和数据重分布的技术支撑,TDSQL-A PostgreSQL版 能很好地发挥并行计算的优势,高效完成 JOIN 过程。

  • 在执行方式上,协调节点接收到用户的 SQL 请求,根据收集的集群统计信息,生成最优的集群级分布式查询计划,并下发到参与计算的数据节点上进行执行,即协调节点下发的是执行计划,数据节点负责执行该计划。
  • 在数据交互上,数据节点之间建立了高效数据交换通道,可以高效的交换数据,数据交换的过程在 TDSQL-A PostgreSQL版 里称之数据重分布(Data Redistribution)。

多核并行计算

TDSQL-A PostgreSQL版 在节点内部采用了并行计算,同时启动多个进程来协同完成一个查询,可充分利用服务器的多核处理能力来快速、高效地完成查询。通常情况下,TDSQL-A PostgreSQL版 会启动多个进程来完成查询,查询时间会大大缩短,如果有更多的资源可供使用,查询时间则会呈线性优化。 TDSQL-A PostgreSQL版 会根据查询表大小来决定是否进行并行查询,表的数据量超过阈值后,才会采用并行计算,当需要并行计算时,会根据表大小得出并行度,即需要的进程个数。

数据安全保障功能

数据加密

TDSQL-A PostgreSQL版 提供两种数据加密方式:

  • 业务侧加密:业务调用 TDSQL-A PostgreSQL版 内置的加密函数,将加密结果写入数据库,正常读取的也是加密后的数据,然后在应用里执行解密。
  • TDSQL-A PostgreSQL版 内置加密:加密过程对业务侧透明,优点如下:
    • 加密操作(函数调用)与业务侧解耦合,业务只负责写入原始数据到数据库内核,后续的加密计算在数据库内部完成,从而业务侧操作上无感知。
    • 加密算法由数据库维护,包括加密算法的选择、密钥管理,都由安全员独立操作完成。 内核加密计算支持异步加密,保证系统在吞吐不变的情况下,达成数据加密。支持的加密算法有 AES128、AES192、AES256、国密SM4。

数据脱敏

TDSQL-A PostgreSQL版 支持透明数据脱敏功能,在用户无感知的情况下,对非授权用户返回被脱敏的数据。 从以上两个维度实现更细粒度的数据访问控制,增强对现有访问的控制,且对现有业务系统无感知。

全方位审计

TDSQL-A PostgreSQL版 从多个维度提供全方位的审计能力,审计采用旁路检测方式,对数据库运行影响极小。审计类型如下:

  • 语句审计:针对某一种特定的语句进行审计。
  • 对象审计:针对某个数据库对象的操作进行审计。
  • 用户审计:针对某个数据库用户的操作进行审计。
  • 细粒度审计(Fine-Grained Audit,FGA):高级审计选项,使用表达式来作为审计条件,可设置审计被触发时的动作,例如,发邮件打电话等。

冷热数据分离

内核原生支持数据的冷热分离,业务无需感知底层存储介质的不同,对外提供统一的数据库视图。

  • 冷热数据使用不同的节点 group 存储,节点组内部使用的物理机型配置不同,从而达到冷热分离节省成本的目的。
  • 后台定时任务根据用户配置的冷热数据规则,自动进行数据迁移,系统即可实现自动的冷热分离,业务无需关心集群的冷热数据存储情况。 此功能目前在私有云版本已有,在公有云目前还未提供。

多级容灾功能

TDSQL-A PostgreSQL版 在多个维度保证集群的容灾能力:

强同步复制

TDSQL-A PostgreSQL版 支持强同步复制,在节点级保证每个节点的主从数据完全一致,是整个容灾体系的基础,当主节点(Master)故障发生时,数据库可切换到从节点(Slave)提供服务且无任何数据丢失。强同步机制要求用户请求发生,从节点写入日志成功后,才给用户返回成功,保证主从节点的数据时刻一致。

主从高可用

TDSQL-A PostgreSQL版 主从高可用方案主要通过每组节点的多副本冗余来实现服务不中断或中断时间很短,当一组节点的主节点出现故障不可恢复,将自动从对应的备节点中选出新的主节点工作。在主从高可用基础上 TDSQL-A PostgreSQL版 支持:

  • 故障自动转移:集群中主节点故障时,系统自动从对应的从节点中选出新的主节点,故障节点自动被集群隔离,基于强同步复制策略,主从切换保证主从数据完全一致,可满足金融级数据一致性要求。
  • 故障恢复:备节点因磁盘故障导致数据丢失时,数据库管理员(DBA)可以通过重做备机来恢复备机,可选择在新的物理节点上添加备机来恢复主从备份关系,保证系统可靠性。
  • 副本切换:每组主从节点(可以是1主 N 从)的每个节点都包含完整的数据副本,DBA 可根据需求进行切换。
  • 设置禁止切换:即可设置在某一特殊时期,不处理故障转移。
  • 跨可用区部署:主节点和从节点分处于不同机房,数据之间通过专线网络进行实时的数据复制。本地为主节点,远程为从节点,首先访问本地节点,若本地主节点发生故障或访问不可达,则远程的从节点升为主节点提供服务。

TDSQL-A PostgreSQL版 支持基于强同步的高可用方案,主节点故障时将自动选出最优从节点立即顶替工作,切换过程对用户透明,且不改变访问 IP。TDSQL-A PostgreSQL版 对系统组件支持7 * 24小时持续监控,发生故障时,TDSQL-A PostgreSQL版 将自动重启节点或者隔离节点,从从节点选出新主节点提供服务。

支持全量增量备份

TDSQL-A PostgreSQL版 支持基于备份在事务一致性的时间点恢复数据,防止误操作带来的数据丢失。备份分为全量备份(冷备)和增量备份(xlog 备份):

  • 全量备份:指备份数据库的全部数据(除了运行日志和 xlog 之外),全量备份通常是周期性,如一天、一周或 N 天。
  • 增量备份:指增量数据的备份,一般通过 xlog 文件实现,当数据库系统产生新的 xlog 文件后,系统将 xlog 文件备份到备份服务器上,增量备份通常是实时的行为。 当发生事故或灾难后,用户可以利用备份数据来恢复系统。

TDSQL-A PostgreSQL版有什么应用场景?

数据仓库

TDSQL-A PostgreSQL版 借助 share nothing 架构,可在线线性平滑地扩展集群规模,具备 GB级 - PB级 数据支撑能力,全并行架构和向量化执行引擎可以高效处理百亿行多表连接查询,适用于操作数据存储 ODS(Operational Data Store)、企业数据仓库 EDW(Enterprise Data Warehouse)、数据集市 DM(Data Mart)等。

海量存储在线实时分析

互联网化的用户激增,伴随着系统的长期运行,数据累积越来越多,给部分行业(如支付业务,因为监管要求,数据必须永久保存)带来的存储成本,以及大数据量场景的复杂关联查询性能问题等亟待解决。

TDSQL-A PostgreSQL版 的在线线性扩容能力,能够按需扩充集群,保证集群可以支撑到 PB 级别的存储,同时结合业务历史数据不常被访问的特点,可将历史数据自动转移到低廉的存储设备上,兼顾性能和成本。

数据高安全依赖型系统

在民生、金融等行业里,存储了非常多的个人基本信息和金融交易数据,保障数据的安全性是首要考虑的问题,一旦发生数据丢失或者泄露,会造成不可估量的损失,因此该类业务对于存储核心数据的数据库系统安全非常依赖,包括数据查询结果加密,数据存储加密,以及事后审计需求。

TDSQL-A PostgreSQL版 能够提供多级安全策略来保障该类高安全依赖型系统的数据安全。

多点汇聚业务系统

银行、大型国企的组织架构通常采用总部-分部-分支的架构,其某些核心 IT 系统建设也采用总部-分部-分支模式,且各个分支采用的数据库不同,随着业务互通、人员互通、信息互通等需求越来越强烈,业务逐渐向总部聚合,因此能否高效的进行数据汇聚,是系统一个很重要的考量指标。

TDSQL-A PostgreSQL版 具备高效的异构数据库复制能力,让数据能够很好的在多个数据库中实现共享。

去 O 场景

近些年来各行各业的 IT 系统兴起了去 IOE 的浪潮,其中去 O 是相对较难的一项。

TDSQL-A PostgreSQL版 作为高扩展性的数据库集群,同时兼容 PostgreSQL 和大部分 Oracle 语法,另外 TDSQL-A PostgreSQL版 也支持存储过程、窗口函数、非结构化数据等诸多企业级特性,使得 TDSQL-A PostgreSQL版 成为去 O 的极佳选择。在替换 Oracle 数仓应用的场景下,使用 TDSQL-A PostgreSQL版 可以很好地减少迁移成本。

TDSQL-A PostgreSQL版 和 TDSQL PostgreSQL版 数据库什么区别?

二者都是腾讯云基于 PostgreSQL 研制的分布式数据库,都是腾讯云原分布式数据库 TBase 的不同产品系列。 主要差别是 TDSQL-A PostgreSQL版 是 OLAP 增强版,有自研列式存储和向量化执行引擎,主打 OLAP 场景;TDSQL PostgreSQL版 则更专注在高并发的 OLTP 场景及混合 HTAP 场景。 二者的很多功能特性都是相通和相互继承的,如 Oracle 兼容性、多级安全特性、冷热分离能力等,而且也会在后续的演进中互相继承功能特性。

Oracle 数据库能迁移至 TDSQL-A PostgreSQL版 数据库吗?

TDSQL-A PostgreSQL版 作为去 O 的最佳选择之一,支持复杂子查询、存储过程、窗口函数等很多企业级的特性,并在内核级支持常用的 Oracle 语法以及函数,使得业务代码几乎不用进行修改或极少的修改就能在 TDSQL-A PostgreSQL版 上实现业务的快速迁移。

相关文章
  • 【推荐】TDSQL-A PostgreSQL 版 - 新品上线!
    1.3K
  • 5月18发布会,这次TDSQL又有什么大动作?
    1.1K
  • 数据库企业级能力国产化,6月10日一探究竟!
    943
  • 在线畅游腾讯云PostgreSQL家族,明天见!
    2K
  • TDSQL-A有哪些“黑科技”?
    1.4K
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
领券