首页
学习
活动
专区
圈层
工具
发布

#flink

EMR 支持 30+ 开源组件全解析:从 Hive 到 Flink 到 StarRocks

gavin1024

摘要: 腾讯云弹性 MapReduce ( EMR )提供超过 30 种开源大数据组件,涵盖 Hive 、 Spark 、 Flink 、 StarRocks ...

900

Flink on EMR 流式计算:实时风控与实时推荐场景实战

克劳德2048

摘要: 腾讯云弹性 MapReduce ( EMR )提供 Flink 组件的部署和管理能力,支持流式计算场景。用户可以通过 EMR 快速搭建 Flink 集群...

400

大状态 Flink 作业 Checkpoint 稳定性治理实践

用户11058296

结论:这不是一次单点参数调优,而是一次大状态实时作业稳定性治理。某实时特征作业负责消费用户行为事件,按用户维度聚合多时间窗口状态,并把结果写入在线 KV 存储,...

16720

基于FLINK搭建实时数仓技术调研

用户9048088

____数据仓库(DATA WAREHOUSE),是做大数据基本都会去涉及的项目。简单来说,数仓是数据结构化存储和查询,并利用分布式计算引擎进行计算得到业务需要...

16810

问题排查-Flink session窗口最后一个不过期问题

用户9048088

查看flink写入db日志,发现没有最后一个session窗口统计数据写入的日志。猜测是flink没有触发session窗口过期,遂采取以下步骤进行问题复现和定...

13210

搭建flink任务管理ververica平台踩坑记录

用户9048088

此外,flink配置文件flink-conf.yaml和运行依赖jar包,vvp会挂载到/flink/conf 和 /flink/usrlib路径下。这里咱们直...

12910

【赵渝强老师】Hadoop的伪分布部署模式

赵渝强老师

Hadoop的安装和部署是大数据生态圈体系中最麻烦的一个。Hadoop部署完成后,进一步地部署Spark和Flink就非常容易了。Hadoop的部署模式分为本地...

14910

从零开始学Flink:TopN 榜单

代码匠心

在上一篇 《从零开始学Flink:Flink SQL四大Join解析》 结尾提到过,下一篇要把 窗口聚合(Window Aggregation)与 TopN 讲...

23610

从零开始学Flink:Flink SQL四大Join解析

代码匠心

在上一篇 《从零开始学Flink:实时数仓与维表时态Join实战》 中,我们通过引入 Hive Catalog,解决了 Flink SQL 元数据管理的痛点。

66310

从零开始学Flink:Flink SQL 元数据持久化实战

代码匠心

在上一篇 《从零开始学Flink:实时数仓与维表时态Join实战》 中,我们通过「订单事实流 + 用户维表」构建了一条基础的实时数仓链路。

79210

从零开始学Flink:实时数仓与维表时态Join实战

代码匠心

在前一篇 《Flink 双流 JOIN 实战详解》 中,我们用「订单流 + 支付流」搞懂了事实双流之间的时间关联。

41910

实时数据处理新标杆:全面解析主流Flink服务与腾讯云Oceanus的卓越表现

gavin1024

随着大数据时代的深入发展,企业对实时数据处理的需求日益迫切。Apache Flink作为领先的流处理框架,以其低延迟、高吞吐的特性成为实时计算的首选。但面对复杂...

31110

从零开始学Flink:Flink SQL 窗口(Window)操作详解

代码匠心

在上一篇 Flink SQL 极简入门 中,我们体验了 Flink SQL 的基础用法。但在流处理中,最核心、最迷人(也最让人头秃)的概念莫过于“时间”和“窗口...

41110

从零开始学Flink:Flink SQL 极简入门

代码匠心

Flink SQL 是 Apache Flink 的核心模块之一,它让开发者可以使用标准的 SQL 语法来编写流处理和批处理作业。对于不想深究 Java/Sca...

69410

告别 UNION ALL!GROUPING SETS 让你的 SQL 只扫描一次表

ETL 小当家

GROUPING SETS 是 SQL 中 GROUP BY 子句的扩展功能,它的核心作用是:在一次查询中同时执行多个不同维度的分组统计,最后将所有分组的结果合...

39910

从零开始学Flink:状态管理与容错机制

代码匠心

流式计算任务通常需要 7x24 小时长期运行,面对网络抖动、机器故障或代码 Bug,如何保证任务不挂?或者挂了之后能自动恢复且数据不丢、不重?这正是 Flink...

37610

一文搞懂物化视图:从原理到实战,查询性能提升 10 倍的秘密

ETL 小当家

物化视图是数据库中的一种特殊对象,它存储了查询结果的物理副本,与普通视图(只保存查询定义)不同。

33910
领券