用户12788355
Spark 选 join 策略靠的是估算值,估错了它只会悄悄降级。
原创
关注作者
腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
搜索
搜索
关闭
发布
用户12788355
社区首页
>
专栏
>
Spark 选 join 策略靠的是估算值,估错了它只会悄悄降级。
Spark 选 join 策略靠的是估算值,估错了它只会悄悄降级。
用户12788355
关注
发布于 2026-09-27 18:17:46
发布于 2026-09-27 18:17:46
115
0
举报
概述
一条 join 落在集群上,可能走四种完全不同的算法,代价差出一个量级甚至更多。选哪一种的不是你,是 Spark 自己,依据是它手里那份统计信息。统计信息大概率是估的,估歪了计划不会报错,只会换一条更贵的路走下去,一路走到笛卡尔积也没人提醒你。下面的参数与默认值全按 Apache Spark 4.x 的口径。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系
cloudcommunity@tencent.com
删除。
spark
flink
sql
大数据
实时计算
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档