- 综合排序
- 最热优先
- 最新优先
- 来自专栏QQ大数据团队的专栏
腾讯云TBDS在海量Iceberg的治理之路
本文共计6044字 预计阅读时长19分钟 TBDS（Tencent Big Data Suite）是腾讯基于多年大数据实践构建的一站式、高性能、企业级大数据存储计算分析平台。 TBDS Lakehouse 作为 TBDS 产品的重要组成部分，目前已服务国内众多头部券商、大型能源国企、头部银行等大中小型客户。 基于此，TBDS也将 Iceberg作为了TBDS数据湖组件主要的表格式。 TBDS LakeKeeper：TBDS Lakehouse治理平台 LakeKeeper 是TBDS 针对TBDS-Lakehouse治理推出的自研平台，目前在海量Iceberg表治理场景，通过 “主从架构 因此，TBDS产品中TI(TBDS Insight)提供了一套实现方案，来主动检测和发现客户在TBDS中使用不合理或者存在使用优化空间的问题，针对这些现象给出优化建议。
84410编辑于 2025-11-17 - 来自专栏QQ大数据团队的专栏
深入腾讯云TBDS：大规模HDFS集群优化实战
HDFS在腾讯微信、腾讯广告、腾讯金融等产品和业务领域有着广泛应用，节点规模可达10万级、存储规模达EB级，在应用实践中做了针对性的改善。 腾讯云TBDS是腾讯大数据能力的私有云产品化，结合内部实践和典型客户的具体情况，对HDFS做了系统的优化。 为了进一步优化Router本身性能，在腾讯云TBDS产品中将Router的响应请求异步化，解耦同步等待时间以提升Router的吞吐量。 而我们在腾讯云TBDS产品中采用了树型锁，不仅针对写、也对读操作进行了更细粒度的锁拆分，可以更有效地提升读写性能。 自研拆锁的设计原则 锁用来保护数据，而非保护流程。 05、未来展望 腾讯云TBDS集群拓展性上支持Router按业务扩容，在确保提升集群整体的规模基础上且不损失性能。性能上可进一步优化HDFS NameNode的元数据存储，将元数据分解下沉至外部存储。
1.8K32编辑于 2024-06-03 - 来自专栏王亮的专栏
基于腾讯云大数据套件 TBDS 的 flume 异常问题排查过程
flumeagent逻辑分析 以上sink里调用了一个com.tencent.tbds.flume.sink.MysqlSinkForMetadata的类，这是一个自定义类，我们在引用路径里找到这个类所在
2.6K30发布于 2016-11-09 - 来自专栏QQ大数据团队的专栏
腾讯云TBDS斩获两大奖项！
腾讯云大数据处理套件TBDS凭借其卓越的创新能力和实践案例，荣获两大奖项： 新一代信息技术创新产品：TBDS以其湖仓一体、存算分离的新一代云原生大数据架构，以及强大的性能、国产化生态和安全体系，获得了业界的高度认可 图一 腾讯云TBDS： 新一代信息技术创新产品 腾讯云TBDS是面向数据全生命周期的、一站式的大数据统一存储、计算、分析平台，融合了数据仓库的高性能及管理能力与数据湖的灵活性，支持多种数据类型并存，实现数据间的相互共享 全面国产化生态：TBDS涵盖国产化芯片、操作系统、服务器、数据库等领域，支持对常见的鲲鹏、海光、飞腾、申威、兆芯、中标麒麟、银河麒麟、中科红旗、统信UOS、腾讯云TDSQL等产品的适配，拥有20+软著和 该平台为金融行业安全可控迈向新水平提供了重要范例，具有以下特点： 全栈国产化：该平台基于腾讯云TBDS构建，从基础设施到应用层均采用国产化软硬件，实现了全面的自主可控，保障金融数据安全。 腾讯云TBDS的获奖，充分彰显了其在创新能力和实践案例方面的领先优势。
63910编辑于 2024-04-24 - 来自专栏QQ大数据团队的专栏
深入腾讯云TBDS: 湖仓架构下存储自动化治理实践
数据湖底层文件治理成本也随之增高，一方面是用户在湖仓架构上使用的便利与高效，另一方面是湖仓架构下万亿级文件治理带来的运维成本，目前业界在数据湖存储治理方面开源且易用的方案并不多，我们基于项目中的实战经验，分享腾讯云 基于腾讯云TBDS 在客户侧丰富的实践经验，我们开始在 Amoro 的基础上通过改造，赋能 TBDS 上一个功能全面易用的数据湖优化组件，简单描述我们的预期为： 用户只需要在工作台编辑配置表的属性配置， 即可无感将该表托管给 TBDS 的数据管理优化系统，TBDS 会根据预置策略全自动的托管该表的生命周期管理和优化。 // Call Luoshu again when got an unexpected error return false; } 4、总结与展望 4.1 业务使用效果 目前我们已经在腾讯云 腾讯云大数据始终致力于为各行业客户提供轻快、易用，智能的大数据平台。 关注腾讯云大数据公众号 邀您探索数据的无限可能
86520编辑于 2024-10-18 - 来自专栏QQ大数据团队的专栏
腾讯云大数据TBDS数据湖荣获IDC金融领域最佳实践案例
国际权威市场研究机构IDC近日发布了《IDC PeerScape：金融领域中数据管理分析服务最佳实践案例》报告，腾讯云大数据TBDS和某股份制银行的存算分离数据湖项目凭借其领先的技术架构、强大的数据能力以及全面的国产化适配 针对这些难题，腾讯云TBDS为该银行量身定制了存算分离数据湖解决方案，助力其成功克服挑战，实现数据管理效能的提升。 落地成果斐然，打造金融行业数据管理标杆 得益于腾讯云大数据TBDS存算分离数据湖方案的强大实力，该股份制银行取得了显著的成效： ● 核心场景查询性能提升：得益于TBDS的存算分离架构和弹性扩缩容能力，该银行核心场景查询性能提升了 该案例充分展现了腾讯云大数据TBDS在金融领域数据管理领域的领先优势，为金融机构构建安全、高效、可扩展的数据管理平台提供了最佳实践范本。 “我们非常荣幸获得IDC的认可，此次入选是对腾讯云大数据TBDS数据湖方案实力的肯定。我们将继续深耕金融行业，为金融机构提供更优质的数据管理解决方案，助力金融机构数字化转型升级。”
96610编辑于 2024-05-13 - 来自专栏深度学习与python
腾讯云大数据 TBDS 在私有化场景万节点集群的实践
在 腾讯云基础软件创新实践专场，来自腾讯云的 TBDS 大数据引擎研发负责人杨鹏程带来了主题为《腾讯云⼤数据 TBDS 在私有化场景万节点集群的实践》的演讲，以下为主要内容。 上图是 TBDS 存算分离的大致架构图，主要是存算分离底座部分去掉了应用层，像数据管理、一站式数据开发、数据治理、数据报表分析及上层工具等。 我们的存储层主推腾讯自研并贡献给 Apache 社区的 Ozone 对象存储，Ozone 在文件的元数据架构上通过拆分以及 Raft 分布式的方案解决了 HDFS NameNode 元数据中央节点无法扩展的问 在扩展上，Kubernetes 可以快速弹性的支持节点的上下线，但官方表示单个 Kubernetes 集群最大节点数为五千个，虽然五千个节点已经非常多了，但对于腾讯内部的大数据集群，单租户就已经达到了数万个节点 租户集群有强隔离性、高安全性、高定制性的特点，同时支持原生 Kubernetes 接口，资源可以弹性扩展，支持上万节点的集群规模，腾讯内部单个租户集群最大已经有三万个节点，我们的自研调度器可以达到每秒
1.9K20编辑于 2023-03-29 - 来自专栏大数据平台TBDS
TBDS-Elasticsearch安全认证配置方法
Elasticsearch未授权访问漏洞 ES高版本已经支持x-pack认证，TBDS的ES版本是6.4.2，默认已经安装了x-pack，下面是配置方法。 /tmp/elasticsearch.yml.bak 3.修改配置文件开启认证 提供两种方法修改配置文件 （1）在ES节点直接修改配置文件，但是这种方法在TBDS集群不建议，若通过8088页面重启ES 节点修改ambari-server服务集成代码，该方法适用于TBDS集群 登录portal节点，修改/var/lib/tbds-server/resources/common-services/ES/7.6.2 服务 Tbds-server restart 4.配置证书及密钥 生成CA证书 [root@tbds-172-27-0-174 bin]# cd /usr/share/elasticsearch/ [root @tbds-172-27-0-174 elasticsearch]# bin/elasticsearch-certutil ca ##生成证书，直接全部回车到最后 生成P12密钥 [root@tbds
3.3K80发布于 2020-12-18 - 来自专栏大数据平台TBDS
datax工具在TBDS上同步数据方法
因为datax工具本身无法传入认证参数，所以若想在TBDS上使用datax同步数据则需要关闭相应的服务认证。 此文以mysql同步至hive举例 1.首先关闭hdfs认证，在8088界面修改HDFS配置 hadoop.security.authentication tbds 改成simple 2.关闭hive认证 .对于HDFS和HIVE的配置更改后，有些服务也是需要重启的，对关联的服务进行重启 image.png 6.服务重启后，使用hadoop命令测试是否不需要认证即可访问 7.下载datax工具，并解压到TBDS mysqlreader", "parameter": { "column": ["id","username"], "connection": [ { "jdbcUrl": ["jdbc:mysql://tbds-x-x-x-x type":"string"} {"name":"username","type":"string"} ], "compress": "",##为空则不压缩 "defaultFS": "hdfs://tbds-x-x-x-x
1.9K30发布于 2020-12-07 - 来自专栏QQ大数据团队的专栏
腾讯云TBDS+WeData企业级数据中台荣获IDC工业领域最佳实践案例
基于腾讯云 TBDS+WeData 打造的新一代数据中台，企业完成中国数字化营销平台和数字化服务平台构建，助力精准营销、售后服务增长和供应链库存优化，实现数据分析支持企业决策。 腾讯云 TBDS+WeData 数据中台解决方案，通过构建统一、高效、安全的数据管理平台，帮助工业企业实现数据的有序组织、治理和呈现，助力企业降本增效。 腾讯云 TBDS+WeData 数据 中台方案优势 ●全栈自主创新：TBDS+WeData已全面适配项目国产芯片、操作系统，从硬件到软件，全链路自主创新； ●CDH 迁移：提供了 CDH 平滑迁移方案、 该企业面临着数据分散、质量低、难以利用等挑战，腾讯云为客户提供大数据产品 TBDS+Wedata 来构建企业级数据中台，助力精准营销、售后服务增长和供应链库存优化。 该方案整合了腾讯云 TBDS 和 WeData 的优势，提供了丰富易用的数据开发和治理功能，显著降低了数据开发和运维难度，大幅提升了数据开发效率。
1.1K10编辑于 2024-07-01 - 来自专栏腾讯云大数据
腾讯云大数据平台 TBDS全面升级，加速构建安全可控的大数据生态
8月22日，腾讯云大数据首届“智理无数，心中有数”伙伴交流会在深圳滨海大厦举办。本次会议主要围绕腾讯云大数据平台TBDS产品的全新升级，以及在渠道伙伴中的推广策略及应用实践展开。 腾讯云副总裁刘煜宏 此次升级，腾讯云TBDS在三大核心引擎上更加注重底层自研能力提升，通过领先的自研技术和前沿的技术理念持续强化安全可控水平。 针对伙伴比较关心的售卖环节，腾讯云产业生态合作部总经理张大捷提到，“腾讯云大数据平台TBDS具备全面自主国产化和平台开放的优势，适配各行业客户需求，提供灵活的场景适配方案。 作为腾讯云大数据平台TBDS首个完成产品集成的合作伙伴，国泰新点生态合作部总经理殷利明先生介绍了腾讯TBDS产品给自身产品带来的技术性能提升和全链路开箱即用工具链的支持，快速赋能到国泰新点政务大数据项目的数据平台建设和项目落地 通过国泰新点跟腾讯云大数据TBDS的合作案例，也为其他伙伴深度合作开拓了新的思路和机会。
2.3K20编辑于 2022-08-26 - 来自专栏大数据平台TBDS
TBDS大数据集群迁移实践总结
背景 xx公司属于最早一批使用TBDS（腾讯大数据处理平台）产品的老客户，从2016年开始将业务运行在TBDS。 1.TBDS简介 1.1架构简介 TBDS 是基于腾讯多年海量数据处理经验，对政企客户提供的可靠、安全、易用的大数据处理平台。 ： （1）新集群使用的腾讯云CVM机器，CVM机器与腾讯云COS内网互通（最重要的因素）。 （4）腾讯云机房只允许腾讯云的设备进出机房，不能使用客户的硬盘拷贝数据然后带到腾讯云机房挂载上去。 CDM Hadoop dfs -get /apps/hive /mnt/CDM/ .... 4.客户侧将拷贝完毕的CDM设备邮寄回腾讯云CDM侧 5.腾讯云CDM侧将数据从CDM设备拷贝至腾讯云COS
4.6K70发布于 2018-12-13 - 来自专栏大数据套件TBDS
tbds flink支持的数据源
tbds flink支持的数据源和它们的用途如下表所示 用途类型支持的输入和输出支持的数据格式说明TableSource/Sink console可撤回输出- oracle维表输入，可撤回输出- hippo
91060编辑于 2021-12-28 - 来自专栏QQ大数据团队的专栏
腾讯云TBDS：新一代数据湖仓实践，助力企业数据架构升级
企业数据架构升级实践案例 01、TBDS 新一代数据湖仓架构 腾讯云大数据 TBDS 是一款依托腾讯多年海量数据处理经验，基于云原生技术，泛 Hadoop 生态和最前沿的湖仓技术打造的可靠、安全、易用的大数据平台 TBDS 的新一代湖仓方案如何解决这些问题呢？ TBDS 提供的新一代统一元数据、统一权限服务和智能运维服务针对性地应答了以上一系列用户痛点。 并且我们通过腾讯自研的 KonaJDK 在大数据领域的专项优化，以及 TBDS 多年以来在信创大数据领域的经验沉淀，TBDS 实现了对于国产软硬件性能的极致优化，可以最大化地发挥硬件性能潜力，充分保证业务的信创升级 同时，结合腾讯 WeData 的数据开发治理能力，实现了客户业务数据集成、开发、治理到数据资产盘点、资产运营的全链路无缝贯穿。 在未来，我们将继续完善 TBDS 湖仓大数据平台。在更多大数据场景的能力支撑和使用体验优化，并且探索更多新场景和性能优化的方向，腾讯云大数据始终致力于为各行业客户提供轻快、易用的智能化大数据平台。
1.8K20编辑于 2024-10-25 大数据平台深度分析与对比
本文将对腾讯云大数据套件、TBDS、Tencent Big Data Suite、大数据平台、数据中台等产品进行深度分析和对比。 腾讯云大数据套件 大数据组件 腾讯云大数据套件提供了全面的大数据组件支持，包括但不限于HDFS, Spark, Hive等，以满足不同数据处理需求。 集群联邦能力 腾讯云大数据套件支持集群联邦，允许跨多个集群进行资源管理和数据访问。 TBDS 大数据组件 TBDS提供了包括HDFS, Spark在内的大数据组件，以支持复杂的数据处理任务。 管控平台 TBDS提供了管控平台，用于统一管理和监控大数据服务。 大数据部署 TBDS支持快速部署大数据服务，简化了部署流程。 大数据运维 TBDS提供了运维工具，帮助用户管理大数据服务。 腾讯云大数据套件、TBDS和数据中台都提供了这些核心能力，以支持企业在数据存储、处理、分析和治理方面的需求。
41910编辑于 2025-07-28大数据平台技术评测与深度分析
本文将对腾讯云大数据套件、TBDS、Tencent Big Data Suite以及市场上的大数据平台进行深度分析和对比。 TBDS 大数据组件 TBDS提供了包括HDFS、Spark在内的大数据组件支持。 HDFS TBDS中的HDFS实现了数据的高可用性和可靠性。 Spark TBDS支持Spark，加速数据处理和分析。 Hive TBDS集成Hive，简化数据仓库的构建和管理。 多租户 TBDS支持多租户管理，满足不同用户的需求。 大数据部署 TBDS简化了大数据平台的部署流程。 大数据运维 TBDS提供了一系列的运维工具和策略。 集群联邦能力 TBDS具备集群联邦能力，提升了资源利用率。 腾讯云大数据套件、TBDS和Tencent Big Data Suite都提供了这些组件的支持，并在多租户管理、管控平台、大数据部署、运维和集群联邦能力方面展现了各自的优势。
39310编辑于 2025-07-28- 来自专栏QQ大数据团队的专栏
腾讯云大数据TBDS 助力国有大行一表通业务性能翻三倍！
1.腾讯云 TBDS 大数据平台介绍 腾讯云 TBDS 是腾讯经过多年的大数据实践，面向数据全生命周期，对外提供安全、可靠、易用的一站式、高性能、企业级大数据存储计算分析平台，腾讯云TBDS 已落地金融 ●目前腾讯云 TBDS 在此项目的一表通业务涉及的数据量级单表百亿级，整体任务量在数百个左右，并且任务中有多层依赖关系，所以一表通涉及到监管报送的月批业务需要腾讯云 TBDS 跑 2 ～ 3 天左右。 落地效果 一表通业务在腾讯云 TBDS 落地的架构如下： ●CBO 实际优化后，一表通中存款、贷款、投融资中的跑批作业任务，腾讯云TBDS 版 Hive CBO优化后的性能综合提升 15%； ●向量化优化后 再次回顾客户的业务场景，结合新一代TBDS的湖仓一体架构，此类业务可以借助腾讯云 TBDS Iceberg 湖格式与 Spark/Trino/StarRocks 分析引擎，提供更好的解决方案。 未来随着客户业务的升级与腾讯云 TBDS 版本升级演化，通过架构改造，从而进一步整体降低计算资源成本，提升运行效率。
1.7K10编辑于 2024-07-08 - 来自专栏QQ大数据团队的专栏
鹏华基金核心系统完成国产化升级，腾讯云大数据TBDS再拓应用新场景
5月8日，腾讯云联合鹏华基金共同对外宣布，通过双方技术团队以及战略合作伙伴华云中盛共同努力，腾讯云大数据套件TBDS日前已经正式在鹏华基金大数据核心系统落地应用，实现对原有大数据TA（Transfer 据了解，腾讯大数据处理套件TBDS是基于腾讯多年海量数据处理经验，对外提供的可靠、安全、易用的大数据处理平台。 为加快金融行业实现全面自主可控的脚步，TBDS能够从多维度支持平台的国产化需求：在性能层面，腾讯运营的TBDS整体集群规模超80000个节点，单集群可支持超大规模万节点；同时，TBDS已经全面支持国产化生态 目前，腾讯云大数据TBDS已持续为超1000家中大型客户构建国产化大数据方案。 腾讯云TBDS现已在金融行业成功打造了多个突破性案例，在中金财富、中国银行、兴业银行等多家头部金融机构落地。 2022年，腾讯云TBDS还助力中信建投打造了证券行业首个国产化大数据平台，进一步实现了大数据处理系统的全面自主可控。
76420编辑于 2023-07-26 腾讯云TBDS获金融信创实验室全项适配认证 打造国产化大数据平台标杆
近日，腾讯云大数据套件软件TBDS V5.3、数据仓库TCHouse V3.0通过金融信创生态实验室（以下简称“实验室”）的适配验证。 腾讯云TBDS遵循该原则，提供了金融场景下标准大数据套件软件、TCHouse数仓平台作为金融业务应用系统参与测试。 测试中，腾讯云TBDS基于鲲鹏ARM架构的服务器，操作系统采用银河麒麟 V10 ，共同构成金融开放平台业务系统的运行环境。 腾讯云TBDS具备支持金融业务系统所需的能力，满足金融信创自主研发、安全可靠的需求。 不仅如此，腾讯云TBDS湖仓架构还在众多大型金融企业中落地了成熟的应用案例。
75900编辑于 2025-03-07大数据平台深度分析与对比评测
TBDS（Tencent Big Data Suite） 大数据组件 TBDS同样提供了Hadoop生态的组件支持，包括HDFS、Spark等，以满足不同数据处理需求。 管控平台 TBDS提供了一个强大的管控平台，用于统一管理和监控大数据组件。 大数据运维 TBDS在大数据运维方面提供了自动化的监控和报警系统，提高了运维效率。 集群联邦能力 TBDS支持集群联邦，允许跨集群的资源共享和任务调度。 数据中台 数据中台通常指的是企业内部构建的一个数据共享和分析平台，它集成了数据治理、数据开发等功能，以支持企业的数据驱动决策。 数据中台的建设往往依赖于大数据平台和数据治理工具，如上文所述的腾讯云大数据套件和TBDS。 腾讯云大数据套件和TBDS作为市场上的领先解决方案，提供了全面的大数据组件支持和强大的管控能力，是企业构建大数据平台的理想选择。
39910编辑于 2025-07-28
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号