- 综合排序
- 最热优先
- 最新优先
腾讯云智慧文旅：构建博物馆云数智一体化大数据平台
数据来源： 腾讯云、腾讯智慧文旅《博物馆大数据平台解决方案》（2025） 1. 应对文博数字化转型的架构断层与合规挑战 当前博物馆在数字化转型中面临数据孤岛与架构滞后的双重压力。 技术门槛与运维成本： 传统架构难以支撑湖仓一体与实时计算，且缺乏隐私保护的全链路技术支撑，导致数据变现与预测分析能力受限。 2. 部署云数智一体化平台与DataOps中台 腾讯云提供的解决方案基于“融合”理念，整合AI、云计算、5G及物联网技术，构建云数智一体化平台。 数仓建模： 统一数仓规范，集成关系/维度建模标准，支持指标维度标签分类与口径规则管理。 数据库迁移兼容性： 对ORACLE语法兼容性达到 95%，是ORACLE数仓替换的选择。 接口标准： 完整兼容 SQL 2003 标准。 4.
11510编辑于 2026-05-30- 来自专栏数栈技术分享
流批一体技术框架探索及在袋鼠云数栈中的实践
二、数栈在流批一体数仓上的演进 随着客户体量增大，客户需求逐步增加，面对PB级别的批数据和流数据的处理需求，数栈技术团队面临越来越多的挑战，在这个过程中逐步完善了数栈数仓架构体系。 从2017年的基于传统架构的批处理经过4年迭代到基于混合架构的流批一体数仓，如图： 数栈流批一体架构混合数仓演进过程示意图 1. 为应对这种变化，数栈技术团队结合当时主流大数据处理技术，在原有的HIVE数仓上，增加了当时最先进的流批一体计算引擎Spark来加快离线计算性能。 FlinkX在数栈中实现流批一体流程图 3. 数栈流批一体在数仓上的实践 下面结合架构图场景讲述下数栈流批一体的做法。 数栈未实现流批一体处理方式： 对于上面这个场景数栈未实现流批一体前的做法是分时图的买卖点会采用Flink计算，日K、周K等的买卖点通过配置周期Spark任务进行计算，即经典的Lambda架构，这种架构的痛点是比较明显的
6K60编辑于 2022-01-26 腾讯云智算：通过算存网数一体化突破算力瓶颈
第二章：构建算存网数一体的高性能智算底座 腾讯云智算提供AI原生云智算解决方案，通过集结自研AI基础设施打破算力瓶颈。 核心产品矩阵包括： 高性能计算集群HCC与高性能推理实例 智能高性能网络IHN（星脉网络） 高性能存储（GooseFS & CFS Turbo） 计算加速套件TACO与云原生调度编排（TKE & qGPU ） 向量数据库与私有化智算套件TICI 该方案支持“一云多芯”策略，集结国内外前沿芯片，并支持公有云、专有云、分布式云等多种部署方式。 资源利用率与网络吞吐： 通过云原生调度编排，GPU卡使用率提升 60%。 智能高性能网络IHN提供 3.2T RDMA网络带宽。 高性能存储支持 Tbps 级别吞吐、亚毫秒延迟。 第五章：全栈自研技术构建确定性 选择腾讯云智算的核心原因在于其全栈自研的技术深度与广泛的生态兼容性： 技术领先性： 具备千卡并行加速比96%的硬核指标，通过软硬协同实现“一云多芯”，打破单一供应商限制。
15410编辑于 2026-05-30- 来自专栏大数据解决方案
Flink on Hive构建流批一体数仓
这就意味着Flink既可以作为Hive的一个批处理引擎，也可以通过流处理的方式来读写Hive中的表，从而为实时数仓的应用和流批一体的落地实践奠定了坚实的基础。 一定要确保TM的task Slot 大小能够容纳维表的数据量； 2.推荐将streaming-source.monitor-interval和lookup.join.cache.ttl的值设为一个较大的数，
5.4K42发布于 2021-02-04 - 来自专栏ClickHouse
离在线一体 引擎一体化 云原生
在本文中，笔者基于 10+ 年的大数据与数据仓库的工作经验，就目前的主流趋势：离在线一体化、引擎一体化、云原生化等写一些思考，抛砖引玉，希望能与各位共同探讨。 随着基础设施的上云，以 Snowflake 为代表的云原生数仓也快速发展，其弹性、按需计费等特点一方面满足了企业降本增效的需求，另一方面也满足企业快速发展的数字业务的需求。 除了业界通用的 HTAP 的方案外，阿里云 TP/NoSQL 与 AP 之间也形成了多个产品组合的引擎一体化方案。 分析天然不跟具体云强绑定的，数仓多云部署在未来越来越常见。TP 数据库天然跟具体业务绑定在一起，因跨云访问的延迟较高。 当解决不同云之间带宽瓶颈及性价比问题后，数仓的多云部署会在未来越来越常见。智能化优化也会考虑到每个时刻的成本。
72110编辑于 2023-09-09 - 来自专栏信息技术智库
架构之争：数用一体VS数用分离，谁才是永远滴神
数用分离与数用一体对比模式具体看，数用一体和数用分离有何差别？ 就需要一套能让数据接入、存储、数据管理、分析和应用都能一体化完成的平台。比如最近了解的smardaten，数据驱动的企业级无代码软件平台。下面我们来具体看看，他们的数用一体究竟是什么样的？ 数用一体和数用分离又有什么差异？smardaten 数用一体的架构smardaten 数用一体架构组件和特点类似于传统的数据中台的概念中，数据是 all-in-one 中台。 smardaten 数用一体架构中包括3大块，数据管理模块、数据分析可视化模块和无代码应用开发模块。 这也是为什么说smardaten是“数”、“用”一体，数据能力和业务应用是互相支撑、闭环的。
58500编辑于 2023-07-06 - 来自专栏数栈技术分享
ChunJun Meetup演讲分享 | 基于袋鼠云开源框架的数仓一体化建设探索
会上，袋鼠云大数据引擎开发专家莫问精心准备了一场主题为「袋鼠云开源框架基于数仓的一体化建设探索」的分享，通过 “如何围绕数仓一体化建设进行探索”，“引进开源框架后如何解决建设难题”、“开源框架能够带来的收益 ” 三个开发者极其关心的问题，助力快速了解袋鼠云开源框架在数仓一体化方面的能力。 开源框架诞生的背景袋鼠云开源框架源于公司一站式数据服务产品 - 数栈。 业务规模经过上述对数据仓库一体化的探索，目前的业务规模已经达到以下数字：・数仓相关任务数量：2000 + 个・单日任务最高实例数量：60000 + 个・Tb 级数据同步：3 小时以内・每日处理增量数据： 批流一体支持当数据被采集到指定的存储层后，会结合存储类型以及业务时效性对数据进行常规的业务计算。
63020编辑于 2022-09-08 - 来自专栏信息技术智库
架构之争：数用一体VS数用分离，谁才是永远滴神
1.3 数用分离与数用一体对比模式 具体看，数用一体和数用分离有何差别？ 数用一体架构不同于传统产品的拼凑模式，而是对各子系统进行集成化的管理建设，通过集成各个子系统并实现数据共享和交换，可以提高企业运营效率、降低管理成本，并为未来扩展打下良好基础。 2 smardaten 数用一体的架构 2.1 smardaten 数用一体架构组件和特点 类似于传统的数据中台的概念中，数据是 all-in-one 中台。 smardaten 数用一体架构中包括3大块，数据管理模块、数据分析可视化模块和无代码应用开发模块。 这也是为什么说smardaten是“数”、“用”一体，数据能力和业务应用是互相支撑、闭环的。
54540编辑于 2023-10-16 腾讯云数智一体化平台：实现城轨大模型智能运维高效落地
云、数、AI割裂的建设方式严重制约大模型价值释放：大模型集中部署带来时延与带宽压力；面对近40万设备，百卡级算力需求超出普通GPU集群能力；跨专业数据壁垒导致数据质量不足，易引发模型幻觉。 构建云边协同的算力基础设施 腾讯采用中央云与边缘云协同架构，实现AI算力全域覆盖。中央云（TCE）承载线路级业务与大数据处理，边缘云（TCS）确保车站级业务降级正常运行。 在实际部署中，广州地铁项目已投放400+台中央云服务器和140个车站边缘云节点，有效降低关键业务时延。 腾讯技术栈确保平台领先性与可靠性 腾讯云基于专有云TCE/TCS架构，结合自研星脉网络、TACO加速套件等核心技术，提供从算力、数据到训练推理的全链路优化。
9810编辑于 2026-05-30- 来自专栏数栈技术分享
ChunJun Meetup演讲分享 | 基于袋鼠云开源框架的数仓一体化建设探索
会上，袋鼠云大数据引擎开发专家莫问精心准备了一场主题为「袋鼠云开源框架基于数仓的一体化建设探索」的分享，通过“如何围绕数仓一体化建设进行探索”，“引进开源框架后如何解决建设难题”、“开源框架能够带来的收益 ”三个开发者极其关心的问题，助力快速了解袋鼠云开源框架在数仓一体化方面的能力。 开源框架诞生的背景 袋鼠云开源框架源于公司一站式数据服务产品-数栈。 业务规模 经过上述对数据仓库一体化的探索，目前的业务规模已经达到以下数字： • 数仓相关任务数量：2000+个 • 单日任务最高实例数量：60000+个 • Tb级数据同步：3小时以内 • 每日处理增量数据 批流一体支持 当数据被采集到指定的存储层后，会结合存储类型以及业务时效性对数据进行常规的业务计算。
62220编辑于 2022-09-30 腾讯云数智一体化平台：通过云边协同与AI加速实现城轨运维降本增效
第二章：构建云数智一体化全链路技术底座 腾讯依托CSIG云与智慧产业事业群的技术能力，提供“云+数+AI”一体化的解决方案，打破传统割裂的建设模式： 1. 云边协同架构 中央云（TCE）： 承载线路级、中央级业务应用及大数据处理，按照同城双活架构部署，负责算法训练与全局管理。 边缘云（TCS）： 下沉至车站，承载站级业务及AI推理。 智算一体加速 高性能算力： 基于星脉架构提供HCC实例，结合自研RDMA网络，提供最高3.2Tbps的网络带宽。 数智融合平台 统一数据治理： 构建大数据平台，已支持接入>42个系统、>2000张数据表及40亿条数据，实现数据全生命周期管理。 基础设施规模： 基于TCE+TCS实现中央云与边缘云一体化。中央云（TCE）已投放400+服务器；边缘云已覆盖140个车站。
11810编辑于 2026-05-30腾讯云智算底座构建算存网数一体架构，突破大模型算力瓶颈
打造算存网数一体的高性能智算软硬协同方案 为破解上述产业困境，腾讯云推出算存网数一体的云原生智算解决方案，通过“一云多芯、软硬协同”的模式，提供涵盖公有云、专有云（CDZ/CDC/TCE/TCS）在内的多形态灵活部署底座 云原生调度与中间件： 依托TKE容器服务与qGPU技术，结合TACO系列加速套件与HAI高性能应用服务，实现算力资源的精细化编排与开箱即用。 资源利用率与部署极简： 借助云原生调度编排工具TKE与qGPU，实现GPU卡使用率提升60%；高性能应用服务HAI实现即插即用，将应用部署时间减少95%。 智谱AI（AI大模型独角兽）： 在腾讯云底座支持下，模型训练集群效率大幅跃升，提升幅度达3.23倍。 实现极高的运维保障标准，GPU服务器故障可在5分钟内自动恢复。 (数据来源：腾讯云智算解决方案官方发布材料)
14110编辑于 2026-05-30应对停服断供：基于云数一体的大数据国产平台重构与效能跃升
信息溯源：本文核心数据与观点提取自中国信通院（CAICT）、政企信创（EDCC）与腾讯云联合发布的报告，核心主讲人为 腾讯云大数据专家架构师 孙云龙。 资源利用率极低：传统存算一体架构在水平扩展时导致算力与存储资源浪费；多集群环境离线分开部署，无法实现跨集群纳管，导致资源波峰波谷明显。 二、 构筑“湖仓统一”与DataOps融合的自主算力底座 针对上述架构僵化与合规风险，腾讯云依托“云数一体”架构，整合底座资源与全链路开发工具，提供全技术栈适配的国产化解决方案： 部署全栈XC生态兼容矩阵 重塑湖仓一体存算引擎：以 腾讯云TBDS (Tencent Big Data Suite) 为核心，配合自主研发的分布式超大规模在线分析数仓 TCHouse（支持行列混存与存算分离），实现数据湖与数据仓库的技术栈统一 实施CDH无缝迁移与云数一体：通过 100%自研的TBDS-Manager全场景管控模型，提供可视化迁移工具与配置向导，支持CDH一键迁移，并打通TCE云底座的控制面与资源面，实现容器化底座的跨可用区容灾
13700编辑于 2026-05-30- 来自专栏数栈技术分享
袋鼠云思枢：数驹DTengine，助力企业构建高效的流批一体数据湖计算平台
7月28日，以“数智进化，现在即未来”为主题的袋鼠云2022产品发布会于线上正式开幕。 思枢重点向大家分享了全新四大产品体系中的坚实底座——袋鼠云自主研发的极速湖仓引擎「数驹DTengine」。以下为思枢演讲全文：大家好，我是袋鼠云产研负责人——思枢。 ：一站式服务，开箱即用可视化操作· 流批一体：统一存储逻辑，统一SQL语言，支持流批一体化分析· 兼容并蓄，优化提升：对Spark、Flink、Trino等计算组件深度优化加速计算袋鼠云一直以来都希望帮助企业充分发挥数字化能力 基于此目标，我们为数驹打造的流批一体主要应用场景，一套代码实现多种业务场景，高效分析。 基于数驹平台的数据存储管理能力，可以同时支持上层计算引擎批和流的计算能力，帮助企业构建流批一体的数仓平台，实现一套架构同时满足流批业务操作，降低学习、使用、维护成本，提高开发效率。数驹将如何？
73520编辑于 2022-08-03 - 来自专栏万少的技术分享
HarmonyOSNext 端云一体化（6）
HarmonyOSNext 端云一体化（6） 之前的文章中把云数据库、云存储都讲过了，这一章节要讲解的是云函数。 云函数介绍 云函数其实就是 serverless 技术。 另外云函数具有调用其他云函数、调用第三方接口、调用云存储、调用云数据库的能力。对于段云一体化开发的应用来说，可以根据这样的场景来使用云函数。 繁琐或者涉及安全的操作，可以把业务抽离到云函数端，这样更加容易管理项目。 本章节也会讲解如何云函数的开发、创建、调试、部署，以及在云函数端调用其他云函数、调用第三方接口、调用云存储、调用云 数据库。 创建云函数 可以选择创建云函数或者云对象。这里建议选择云对象更加方便业务逻辑的实现。为什么呢，举个例子。 云对象调用云存储：文档显示云对象对云存储支持不足，故略过。
47721编辑于 2025-02-10 - 来自专栏万少的技术分享
HarmonyOSNext 端云一体化（4）
HarmonyOSNext 端云一体化（4） 在上一章节我们讲了数据库数据表的一些基本操作。如query、upsert、delete和calculateQuery。这一章节主要来讲解各种查询条件操作。 这些查询条件在端云一体中解释中叫做谓词。云数据库中提供丰富的谓词查询来构建查询条件。根据谓词查询方法构造自己的 DatabaseQuery对象。 比如：查询name=book的前2条数据 总结 本章主要介绍了HarmonyOSNext端云一体化中的数据库查询条件操作： 介绍了查询条件中的谓词概念，它用于展示或描述数据的性质、特征或关系 详细列举了常用的查询谓词
38311编辑于 2025-02-10 - 来自专栏数栈技术分享
袋鼠云思枢：数驹DTengine，助力企业构建高效的流批一体数据湖计算平台
7月28日，以“数智进化，现在即未来”为主题的袋鼠云2022产品发布会于线上正式开幕。 思枢重点向大家分享了全新四大产品体系中的坚实底座——袋鼠云自主研发的极速湖仓引擎「数驹DTengine」。 以下为思枢演讲全文： 大家好，我是袋鼠云产研负责人——思枢。 · 极致便捷：一站式服务，开箱即用可视化操作 · 流批一体：统一存储逻辑，统一SQL语言，支持流批一体化分析 · 兼容并蓄，优化提升：对Spark、Flink、Trino等计算组件深度优化加速计算 袋鼠云一直以来都希望帮助企业充分发挥数字化能力 基于此目标，我们为数驹打造的流批一体主要应用场景，一套代码实现多种业务场景，高效分析。 基于数驹平台的数据存储管理能力，可以同时支持上层计算引擎批和流的计算能力，帮助企业构建流批一体的数仓平台，实现一套架构同时满足流批业务操作，降低学习、使用、维护成本，提高开发效率。 数驹将如何？
76430编辑于 2022-09-19 构建城轨云数智一体化平台：驱动状态修升级与全链路AI加速
然而，当前行业在落地大模型时面临“云、数、AI割裂”的系统性痛点，严重制约价值释放： 时延及带宽压力： 大模型集中部署于OCC中央侧，高清摄像头普及导致带宽压力剧增。 部署云边协同架构，实现算力、算法与数据闭环协同 针对业务痛点，依托专有云平台构建“云数智一体化”架构，实现算力、数据、模型等AI核心资产的全生命周期管理。 构建智算一体化硬件底座： 基于自研TurboFS提供高性能存储；采用最高 3.2Tbps RDMA 自研网络架构结合 TCCL 集合通信库，加速分布式训练通信效率。 基于该数智底座打造的“穗腾OS”，经院士及专家评估，已达到“行业首创、国际领先”水平，为城市轨道运维的高质量发展提供了可复制的标准化演进路径。 (数据来源：腾讯云交通《打造城轨云数智一体化平台，助力城轨运维高质量发展》报告)
15710编辑于 2026-05-30- 来自专栏数栈技术分享
数栈在湖仓一体上的探索与实践
开放的文件存储、开放的文件格式、开放的元数据服务以及实时读取与写入等特点使它们受到大家的热烈追捧，各大云厂商也随之纷纷提出自己的数据湖解决方案，因此有人说，数据湖是下一代大数据平台。 数栈在湖仓一体上的演进 随着客户业务的不断发展，数栈作为一套数据中台也遇到了越来越多的挑战。在克服这些挑战的同时，我们也深感自身还有很多不足的地方。 数栈迈向湖仓一体 痛点的解决方案 为了解决以上痛点，数栈做了以下改动： 1、启用Flink做主计算引擎 Flink在1.12版本实现了Source&Sink API的流批一体，并且社区也在不断向着流批一体的方向发展 数栈湖仓一体架构 基于上述所说，让我们一起来看看，我们通过 Flinkx 将数据入湖(Iceberg)、入仓（hive） 之后，数栈上湖仓一体的结构是如何实现的： 在引入Iceberg 之后我们不仅可以统一对接各种格式的数据存储 数栈对于未来的展望 数栈当前通过引入Iceberg和改造FlinkX ，统一了实时和离线的数据集成和计算和存储能力，可以在数栈上实现基本的湖仓库一体。
87620编辑于 2022-04-14 - 来自专栏万少的技术分享
HarmonyOSNext 端云一体化（5）
HarmonyOSNext 端云一体化（5） 上一章节我们主要讲解了查询条件-谓词的基本使用技巧。这一章我们主要来讲解下客户端操作云存储。 云存储介绍 云储存就是提供了一个可以存储物理文件的云端环境，比如存储图片、视频、音乐等，同时提供了的客户端操作云存储、云函数操作云存储的能力。 我们这里主要讲解客户端操作存储，后续会讲解云函数操作云存储。 云存储的计费策略 免费配额 开通云存储服务后，华为供了免费额度以供试用，具体的配额明细如下。 我们可以看到，这个的云存储的实例名称为 default-bucket-xxxx 初始化云存储实例 因为后期要操作云存储都需要用到云存储实例。所以需要初始化好。 主要内容包括： 云存储基础 介绍了云存储的基本概念 详细说明了免费配额和计费策略 讲解了云存储的核心功能 环境准备 如何在 AGC 平台开通云存储 如何初始化云存储实例，包括默认实例和指定实例的使用
72221编辑于 2025-02-10
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号