- 综合排序
- 最热优先
- 最新优先
- 来自专栏腾讯技术工程官方号的专栏
腾讯 PB 级大数据计算如何做到秒级？
在开放融合的 Data Cloud 上，业务方可以消费完整的数据生命周期，从采集-存储-计算-分析-洞察。还能够满足位于不同数据中心、不同类型数据源的数据联合分析/即时查询的需求。 Presto 在腾讯天穹 SuperSQL 大数据生态中，定位为实现秒级大数据计算的核心服务。主要面向即席查询、交互式分析等用户场景。 日均处理数据量 PB 级，P90 查询耗时为 50s，全面提升各业务数据实时分析性能，有效助力业务增长。 获得秒级的查询体验。 4.4 Optimized Repartitioning 天穹 Presto 每天的业务查询 Exchange 的数据量达到了上百 PB 级别，为了提升 Repartitioning 阶段的性能，我们在生产环境中启用了社区的
2.1K21编辑于 2022-01-21 - 来自专栏CSDN技术头条
雅虎PB级云对象存储COS实践：选择Ceph，放弃Swift
本文介绍了雅虎PB级云对象存储COS解决方案的实践，解释了选择Ceph放弃Swift的原因，部署的架构及其实现，耐用性和延迟方面的优化以及未来的研发方向等。 此外，由于应用程序对于数据访问方式，数据可靠性，数据访问延迟以及数据存储成本的要求不尽相同。雅虎需要在考虑成本效益的同时，还要考虑满足不同应用程序的需求，雅虎在对象存储需求需要多方权衡考虑。 未来COS将存储数百PB的数据！ COS用的是Ceph COS的部署中应用到了Ceph存储技术。 经过多次软件的调整和试运行之后，现在每个Ceph集群的部署大约能达到3PB的原始数据，并且无论在进行通常操作还是在做故障恢复的时候都能提供可预测的延迟。 规模上：我们已经初始部署了一个多PB级解决方案。在2015年，我们计划将其增长10倍以上，把它用到邮件，视频，Tumblr等，实现像在Flickr那样的增长。
2.1K50发布于 2018-02-09 - 来自专栏数据猿
【金猿技术展】Kyligence 智能分层存储——PB级规模数据的全场景OLAP
同时，基于 HDFS/对象存储和 Clickhouse 的两级存储设计，可全面覆盖各种分析场景，为用户带来基于海量数据下分析探索的更多可能性。 智能分层存储不仅能够支持多维度随机组合的灵活即席查询场景，比如标签分析或用户行为分析等场景，为企业的精细化运营和辅助商业决策带来更大的助力；同时分层存储可对接 Kyligence 统一的模型来管理数据， Kyligence 在产品存储的架构进行了分层设计： • 第一层：MPP 引擎层——将数据存储在 ClickHouse 引擎中（目前仅存放表索引） • 第二层：分布式存储层——将数据存储在 HDFS / 对象存储中（存放预计算后的聚合索引） • 第三层：查询下压层——查询可下推到其他数据源，如 SparkSql 以及各类 RDBMS 系统 启用智能分层存储后，用户无需关心数据是如何分布和导入的，只需要根据业务需求进行建立模型 基于机器学习和人工智能等技术，Kyligence 从多云的数据存储中识别和管理最有价值数据，并提供高性能、高并发的数据服务以支撑各种数据分析与应用，同时不断降低 TCO（总体拥有成本）。
45220编辑于 2022-03-16 - 来自专栏憧憬博客分享
PB数据毫秒级搜索之Elasticsearch(二)基础了解
,每个分片是一个lucene索引 备份: 拷贝一份分片就完成了分片的备份,主分片如果损坏,备份的分片还可以提供搜索 类型 索引可以定义一个或多个类型,文档必须属于一个类型 文档 文档是可以被索引的基本数据单位 索引可以看成数据库的库 类型可以看成数据表 文档可以看成表中的某条数据 比如说: 我们存储一个数据有几个大类: 动物 书籍,可以把动物和书籍设置为索引,但是书籍或者动物都有小类别,把这些小类别设置为类型 ":"test" 搜索该索引 类型为title 文档带有test字符的数据 } }, "sort":[ 默认是_score进行排序 语法查询 { "query":{ "query_string":{ "query":"三 OR JAVA", 可以设置正常查询条件 OR AND 还可以使用()设置优先级 "fields":["author","title"] } } } 字段级别查询 针对结构化数据 如 数字,日期等 { "query":{ "term":{
98810发布于 2020-07-20 - 来自专栏深度学习与python
合合信息：基于 JuiceFS 构建统一存储，支撑 PB 级 AI 训练
合合信息产品发展历程 随着 AI 训练平台规模持续扩展，公司积累了千亿级文件和百 PB 级数据，覆盖 NLP、CV 等多种任务类型，存储需求愈发复杂。 JuiceFS 目前稳定支撑数十亿级文件、十 PB 级数据存量与 PB 级日增数据，平均缓存命中率超过 90%，显著提升了 AI 训练与大数据任务的 I/O 性能。 目录的体积大小会作为预热调度的一个优先级参考因素，用于决定哪些数据应优先加载到共享缓存中。 在队列处理过程中，每个数据集会被赋予一个预热优先级，调度系统根据优先级依次执行预热操作。这意味着，训练任务的调度和其数据集的预热过程是异步进行的，二者调度系统相互独立。 对于命中率高或在单个任务中被频繁访问的数据集，我们赋予更高的预热优先级。 新架构小结：实现大规模混合计算 通过对存储层和任务调度层的系统性改造，我们构建出一套支持大规模混合计算的统一基础设施。
26010编辑于 2025-07-20 揭秘腾讯云TCHouse-D存储引擎：如何实现亚秒级PB级数据分析？
列式存储让同一列数据连续存储，查询时仅读取需要的列，避免无关数据的IO开销。相比行存，列式存储可减少50%以上的IO量。 ，TCHouse-D凭借其独特优势脱颖而出： 产品名称 核心架构 主要优势 适用场景 腾讯云TCHouse-D 基于Apache Doris的FE/BE分离架构 亚秒级响应、10万+ QPS、分钟级节点扩容 存算一体版包含FE节点、BE节点、数据存储和托管备份/降冷数据等计费项。 存算分离版则包含计算资源、FE数据存储/BE预留缓存空间和COS存储等计费项。 六、 场景应用 TCHouse-D基于业内领先的OLAP数据库Apache Doris内核构建，具备海量数据亚秒级查询能力，兼容MySQL协议和Hadoop生态。 无论是应对电商大促的流量洪峰，还是支撑金融交易的实时风控，TCHouse-D都能以亚秒级响应、十万级并发的卓越性能，助力企业快速洞察业务动态，把握市场先机。
28010编辑于 2026-03-20- 来自专栏云头条
1.44 亿：采购大数据存储产品 180 PB（90 套）
2022年9月9日，中移动信息发布《2022年IT云资源池大数据存储工程大数据存储产品框架采购项目》招标公告。 本项目采购大数据存储产品180PB（90套）。 本项目不划分标包。
68220编辑于 2022-09-14 - 来自专栏腾讯大数据的专栏
天穹SuperSQL如何把腾讯 PB 级大数据计算做到秒级？
在开放融合的Data Cloud上，业务方可以消费完整的数据生命周期，从采集-存储-计算-分析-洞察。还能够满足位于不同数据中心、不同类型数据源的数据联合分析/即时查询的需求。 Presto在腾讯天穹SuperSQL大数据生态中，定位为实现秒级大数据计算的核心服务。主要面向即席查询、交互式分析等用户场景。 日均处理数据量PB级，P90查询耗时为50s，全面提升各业务数据实时分析性能，有效助力业务增长。 获得秒级的查询体验。 4.4 Optimized Repartitioning 天穹Presto每天的业务查询Exchange的数据量达到了上百PB级别，为了提升Repartitioning阶段的性能，我们在生产环境中启用了社区的
2.1K51编辑于 2022-01-23 - 来自专栏数据科学和人工智能
100PB级数据分钟级延迟：Uber大数据平台（下）
阅读本文前请先阅读上一篇文章：100+PB数据分钟级延迟：Uber大数据平台介绍（上）。 用户可以通过同一个UI门户轻松访问不同大数据平台的数据。我们的计算集群中有超过100PB的数据和100000个vcores。 通用数据提取 Hudi并不是我们第三代大数据平台的唯一补充。我们还通过ApacheKafka处理存储和大数据团队之间对上游数据库的更改。 Streaming团队和大数据团队都使用这些存储更改日志事件作为其源输入数据以进行进一步处理。 例如如果某些上游数据仓库在存储之前没有强制执行或检查数据模式时（例如存储值为JSON块的键值对），导致不良数据进入Hadoop生态系统，从而影响所有依赖此数据的下游用户。
1.6K20编辑于 2022-03-30 - 来自专栏upuptop的专栏
PB级数据实现秒级查询ES的安装
Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。
80920发布于 2019-09-18 - 来自专栏FreeBuf
移动APP上的广告劫持每天造成PB级的数据浪费
然而这一行为造成了严重的资源浪费，据估计移动平台广告劫持导致每天有PB级（1PB=100万GB）的数据被浪费。 这些应用程序平均每分钟建立1100个连接，并每个小时与约320个广告网络、广告服务器、数据提供商通信。
821100发布于 2018-02-06 - 来自专栏IT技术精选文摘
PB级海量数据服务平台架构设计实践
基于PB级海量数据实现数据服务平台，需要从各个不同的角度去权衡，主要包括实践背景、技术选型、架构设计，我们基于这三个方面进行了架构实践，下面分别从这三个方面进行详细分析讨论： 实践背景 该数据服务平台架构设计之初 由于时间范围条件跨度需要支持几年（如1~3年），计算依赖的数据量级在TB甚至PB级别，所以一定要通过预计算的方式压缩数据，并能提供支持快速计算的方式。 技术选型 技术选型，主要从如下几个方面进行考虑： 数据存储 原始数据存储 数据量级达到PB级，所以，作为整个数据服务平台的最初输入数据，我们称为数据服务平台的原始数据，后续简称原始数据，这些原始数据是直接存储在 分布式关系数据存储 对于PB级的数据，想要在数据服务平台中快速为用户提供数据服务，根据业务特点，存储在适合快速加载、快速计算的分布式数据存储系统中。 地域信息，如国家、省份、城市、区县 POI名称、地址 POI分类，包括一级分类、二级分类 这些元数据，有些来自于基础数据部门提供的标准库，比如品牌、价格范围等，可以从对应的数据表中同步或直接读取；而有些具有时间含义的元数据
2.6K60发布于 2018-01-30 腾讯安全湖全流量方案：实现PB级安全数据的长期低成本存储与智能回溯分析
随着攻击手段高频化、自动化，企业需处理每日10万级安全事件，但关键信息常被海量数据淹没。 构建一体化智能分析引擎：全流量存储与回溯能力 腾讯安全湖全流量解决方案通过自研数据底层引擎，整合NDR（网络威胁检测与响应）能力，形成“采集-存储-分析”闭环： 存储层：采用列式存储与无索引技术，实现10 ~20倍数据压缩比，将原始数据存储量降至4%（来源：某物流企业案例）。 查询效率提升：通过极简搜索操作（仅需3步），实现30天内流量日志的秒级查询，快速定位网络攻击特征（来源：方案效果说明）。 客户实证：大型企业的低成本高效益运营 某大型物流企业：针对日均1.3TB全流量数据，通过安全湖实现低成本存储，并满足灵活检索需求，解决了PB级数据下的存储资源与检索效率矛盾（来源：案例拓扑图及效果数据）
7410编辑于 2026-05-30- 来自专栏腾讯云开发者社区推荐
QQ音乐PB级ClickHouse实时数据平台架构演进之路
优质服务的背后，是每天万亿级新增音乐内容和行为数据，PB数据量级的数据计算服务。 海量的数据意味着更高标准的数据分析业务，对于离线分析的时效、实时与近实时的即席实时交互分析，提出了更高的要求。 二、大数据分析的挑战 早些年在传统离线数仓阶段，QQ音乐使用Hive作为大数据分析的主要工具，对TB至PB级的数据进行分析，但存在着以下的可提升点： 1.jpg 1. 集群日均新增万亿数据，规模达到上万核CPU，PB级数据量。整体实现秒级的实时数据分析、提取、下钻、监控数据基础服务，大大提高了大数据分析与处理的工作效率。 ClickHouse架构系统技术攻克点 面对上万核集群规模、PB级的数据量，经过QQ音乐大数据团队和腾讯云EMR双方技术团队无数次技术架构升级优化，性能优化，逐步形成高可用、高性能、高安全的OLAP计算分析平台 基于Superset的自助数据分析可视化平台 Apache Superset(孵化)是一个现代的、企业级的商业智能Web应用程序，为业务提供处理PB级数据的高性能的OLAP在线数据分析服务，提供丰富的数据可视化集
14.7K6717发布于 2020-06-03 - 来自专栏Apache Doris
PB 级自动驾驶数据秒级检索：Apache Doris 统一多模态数据平台实践
导读：多模态数据正成为企业核心资产，但规模化管理仍具挑战。自动驾驶在 PB 级图像、点云、视频等数据治理中积累了可复用经验。 过去，这类能力往往依赖数仓、Elasticsearch、向量数据库等多套系统拼接完成。但当数据规模进入 PB 级、查询进入高并发交互式阶段后，多系统架构的性能、同步和运维成本都会迅速放大。 依托大规模的量产运营，公司积累了海量真实道路数据，并围绕这些数据构建起数据驱动的研发体系。 该公司每天生成数百 TB 的新数据，总存储量以 PB 计。 本次迁移遵循五项核心设计原则： 冷热数据分层：近期高频访问数据存储在高性能在线存储中，通过基于时间的分区和基于设备的分桶策略优化并发查询；历史数据迁移至低成本数据湖（Iceberg）进行长期留存。 主键模型下的实时写入确保新标签数据秒级可见，每天可处理数百亿条标签更新。 集成向量检索：平台将向量索引能力原生内置，图像和文本特征向量与标量数据共同存储。
15210编辑于 2026-05-19 - 来自专栏深度学习与python
稳定且高性价比的大模型存储：携程 10PB 级 JuiceFS 工程实践
目前，携程通过 JuiceFS 管理着 10PB 数据规模，为 AI 训练等多个场景提供存储服务。 此外，AI 应用面临的另一个问题是存储性能的瓶颈，尤其是在读性能方面。AI 推理任务需要较高的带宽，而许多存储产品的带宽表现有限。与 OSS 配合使用时，存储带宽可以根据数据量的增加而自动扩展。 携程存储分摊示意图 费用异常：存储泄露 在日常运营中，主要关注的是费用的上升情况和费用占用的趋势。这些费用数据能够反映出是否存在异常问题。 备份数据被存储在独立的对象存储 中，目前使用的是 Ceph 存储系统。 这些用户会在 JuiceFS 中存储训练数据集，这些数据集可能是图片或文档，都是小文件，而且通常都是讲大量小文件集中存储在一个目录中。某些目录中的文件数量甚至达到数百万，甚至数千万个。
67910编辑于 2025-03-12 - 来自专栏大数据文摘
每年14PB数据存储需求，海量交通安全数据如何安放？
而远程被管理车辆每天大约需要上传20MB左右的数据。按照100万辆计算，每月大约600TB，每年7.2PB左右。而100万辆车对数据中心的存储需求大约在14PB。 根据政府监管和中交兴路其它增值服务需求（一年两份冗余），100万辆车对数据中心的存储需求大约在14PB。 面对如此海量的数据，中交兴路首先需要将数据的访问和存储等服务从硬件资源池中分离出来，使数据访问脱离硬件以面对新型存储设备和存储容量扩充等需求，此外中交兴路还需要考虑存储系统的性能和带宽以应对百万级车辆同时上传数据的需求 目前，中交兴路大数据平台可以满足现有百万级车辆的10PB级数据存储能力和存储性能需求，并可灵活扩展以应对更多车辆数据的存储挑战。 “芯”动力 “芯”可能 中交兴路车联网大数据平台通过实现PB 级海量数据的集中存储和管理，满足车联网业务需求。
2.1K40发布于 2018-05-22 【重磅发布】PB级数据秒级“拿捏”，数仓建模平台直开挂！
通过Kylin的预计算技术，实现PB级数据的亚秒级查询响应，支持高并发多维分析场景。 系统内置分布式计算框架，可动态扩展资源，结合Kylin的列式存储与高效压缩算法，显著降低存储成本，适用于金融风控、零售精准营销等复杂数据分析需求。 AllData商业版将其集成至数据服务层，支持对PB级数据集的亚秒级响应。 混合存储引擎 Kylin采用列式存储与预计算结合的混合架构，兼顾查询性能与存储效率。 增量构建与实时更新 针对流式数据处理需求，AllData集成Kylin的增量Cube构建功能，支持每分钟更新百万级记录。 在物流轨迹分析场景中，系统可实时捕获GPS数据变化，动态刷新运输时效预测模型，决策延迟从小时级降至秒级。
38921编辑于 2025-10-13- 来自专栏公有云大数据平台弹性 MapReduce
QQ音乐PB级ClickHouse实时数据平台架构演进之路
优质服务的背后，是每天万亿级新增音乐内容和行为数据，PB数据量级的数据计算服务。 海量的数据意味着更高标准的数据分析业务，对于离线分析的时效、实时与近实时的即席实时交互分析，提出了更高的要求。 二、大数据分析的挑战 早些年在传统离线数仓阶段，QQ音乐使用Hive作为大数据分析的主要工具，对TB至PB级的数据进行分析，但存在着以下的可提升点： 1. 集群日均新增万亿数据，规模达到上万核CPU，PB级数据量。整体实现秒级的实时数据分析、提取、下钻、监控数据基础服务，大大提高了大数据分析与处理的工作效率。 ClickHouse架构系统技术攻克点 面对上万核集群规模、PB级的数据量，经过QQ音乐大数据团队和腾讯云EMR双方技术团队无数次技术架构升级优化，性能优化，逐步形成高可用、高性能、高安全的OLAP计算分析平台 基于Superset的自助数据分析可视化平台 Apache Superset(孵化)是一个现代的、企业级的商业智能Web应用程序，为业务提供处理PB级数据的高性能的OLAP在线数据分析服务，提供丰富的数据可视化集
2.9K20发布于 2021-01-07 应对常态化攻防：基于安全湖与NDR的PB级全流量低成本存储与秒级溯源体系
当前行业面临的核心痛点集中在数据治理成本与高级威胁防御效能的严重错位： 海量数据榨干存储资源： 随着流量数据规模快速增长与非结构化数据激增，企业面临持续增加的存储成本，关键安全信息往往被淹没在海量告警中 全栈国产化安全湖底座： 基于云原生技术打造纯自研的PB级安全大数据分析平台。 PB级海量数据秒级分析： 解决数据分析效率低下的问题，仅需3个步骤即可进行极简全文检索，实现秒级网络攻击流量特征查询和取证。 标杆企业PB级全流量实战落地解析 某大型物流企业：攻克PB级高并发流量存储与检索难题 该物流企业需对互联网出口及外网业务区（DMZ）流量进行深度分析，平均流量达7.4Gbps，每天新增全流量原始数据高达 量化效果： 安全湖对全流量数据的压缩比达到40倍，压缩后的数据存储量骤降为原始数据的4%。仅通过三节点服务器即可承载180天的全流量数据。针对30天内流量日志，实现了秒级特征查询和取证。
9500编辑于 2026-05-30
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号