CoreDao
宽窄依赖影响的是什么?
关注作者
腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
搜索
搜索
关闭
发布
CoreDao
社区首页
>
专栏
>
宽窄依赖影响的是什么?
宽窄依赖影响的是什么?
CoreDao
关注
发布于 2021-04-13 10:43:42
发布于 2021-04-13 10:43:42
559
0
举报
文章被收录于专栏:
BigData_Flink
BigData_Flink
影响的是stage。
A1 原因
因为stage的切割依据是RDD之间的宽窄依赖。
stage的切割规则:从后往前,遇到宽依赖就切割stage。
A2 图解
从图中可以看出
stage中引入DAG(有向无环图,指定执行顺序ABCDEFG)
A->B是宽依赖,F->G是宽依赖,stage的切割从A和F
join有宽有窄
stage中串并同存在
A3 问题
stage详解
本文参与
腾讯云自媒体同步曝光计划
,分享自作者个人站点/博客。
原始发表:2021/03/10 ,如有侵权请联系
cloudcommunity@tencent.com
删除
前往查看
join
目录
A1 原因
A2 图解
A3 问题
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档