首页
学习
活动
专区
圈层
工具
发布
首页标签数据湖

#数据湖

数据湖是一个集中式存储池,可对接多种数据源,无缝对接各种计算分析和机器学习平台

Lakehouse 供数中的数据状态与使用关系

害羞的恐龙蛋

  数据落到对象存储,组织成 Iceberg 表,再由 Spark、Flink 等计算引擎读写。相比直接管理大量文件,Schema、Snapshot、分区和表版...

23130

有之以为利,无之以为用:从数据服务看表与接口的依赖边界

害羞的恐龙蛋

  一张原本只用于分析查询的主题表,最开始可能只有一个报表在用。后来脚本、任务陆续接上来,等再准备改字段时,往往要先确认还有谁在用。一条临时验证的 SQL 也可...

23110

知止不殆,可以长久:从湖仓一体看数据架构里的几个取舍

害羞的恐龙蛋

一张表已经很少有人查询,任务还在每天跑。一个专题结束了,相关数据还在持续更新。准备调整一个字段,往下查才发现几个报表和接口都直接依赖它。

28312

从 Doris 和 ClickHouse 看 OLAP 的能力变化

野生数据人

这几年再看 OLAP 数据库,一个比较明显的变化是,大家讨论的问题已经和几年前不太一样了。

14410

同等资源下 Apache Doris 4.2 vs StarRocks 4.1.1:1TB SSB 与 TPC-H 性能实测

野生数据人

分析型数据库的性能比较,最终还是要回到真实 Query 和实际运行数据。我们基于 Apache Doris 4.2 与 StarRocks 4.1.1,在相同计...

11710

数据湖的那些事儿:别让存储变成灾难

叫我阿柒啊

腾讯云TDP | 产品KOL (已认证)

数据湖看似强大,但实际使用中容易踩坑。本文分享真实经验,探讨如何避免数据湖带来的麻烦。

10110

Doris 直查 Paimon 索引:快手湖上向量检索的共建与落地

SelectDB技术团队

导读:Apache Doris 5.0 多模湖仓预告(3)|生产实践篇:快手在生产环境用 Apache Doris 直接查询 Apache Paimon 表上的...

18510

Apache Doris+ Paimon 2.0:构建 Agentic AI 数据闭环

SelectDB技术团队

作者|李文强,Apache Doris PMC 成员、SelectDB 多模湖仓负责人

25710

Apache Doris 5.0 年度版本前瞻(一):构建统一的多模湖仓实时分析平台

SelectDB技术团队

过去十多年,数据平台主要围绕结构化表与 SQL 建设:把数据汇聚到数仓,通过稳定的批处理和 OLAP 查询支撑报表与经营分析。

19410

Data Engineer 实用指南

用户4482004

20610

对象存储 AI 训练数据湖最佳实践

克劳德2048

2026 年,全球用于 AI 工作负载的对象存储采购量同比增长 75%,对象存储已成为 AI 训练数据湖的核心底座。本文从数据湖架构设计、存储选型、性能优化与成...

24510

数据湖:不是万能钥匙,但可能是你最需要的那把

叫我阿柒啊

腾讯云TDP | 产品KOL (已认证)

数据湖不是万能钥匙,但可能是你最需要的那把

15510

腾讯云发布智能数据湖计算AI DLC 支持Spark和Ray同一平台运行

腾讯云大数据

7月25日,腾讯云正式发布智能数据湖计算平台AI DLC,面向自动驾驶、具身智能、Agent等AI场景,提供覆盖数据处理、训练、推理到 Agent 应用的一体化...

44310

国内首个生产级Spark+Ray智能数据湖平台来了!

腾讯云大数据

腾讯云大数据将正式发布智能数据湖计算 AI DLC——国内首个在同一平台上同时提供生产级 Spark + Ray 全托管服务的智能数据湖计算平台。一份算力同时承...

43110

湖库一体:2026年数据库架构的“终极答案”还是新瓶装旧酒?

这个DBA有点耶

2026年6月29日,OceanBase发布面向AI时代的湖库一体AI数据库。一周后,Databricks在2026 Data + AI Summit上宣布推出...

36410

PostgreSQL时序数据冷热分离实战

用户4035096

未来,随着数据湖与数据库界限的模糊,PostgreSQL作为“统一查询引擎”的角色将愈发重要。这套组合正是这一趋势的先行者。

25310

突发: DuckDB Iceberg 数据湖插件支持实时DML

用户4035096

还在忍受数据湖只读不写的痛点?DuckDB-Iceberg v1.4.2全面颠覆!我们实现了Iceberg表的ACID全支持:插入、更新、删除,都在事务中保持一...

25200

数据湖实战:用 Amazon Glue + Athena 构建企业级数据分析基座

掘金安东尼

传统的基础设施即代码(IaC)方案,比如 Amazon CloudFormation 或 Terraform,大量依赖 YAML 或 JSON。这些声明式语言虽...

15210

数据湖构建完整指南: EMR + Iceberg + Alluxio 三层加速架构

gavin1024

数据湖构建是企业实现海量数据统一存储与分析的关键步骤。本文介绍基于腾讯云弹性 MapReduce ( EMR )的数据湖构建方案,结合 Apache Icebe...

38210

相关产品

  • 数据湖

    数据湖是一个集中式存储池,可对接多种数据源,无缝对接各种计算分析和机器学习平台

领券