我正在POC环境中运行,其中只有一个名称节点和一个数据节点正在运行。Impala守护进程正在数据节点上运行。这两个节点都有128 of内存。我已经将mem_limit设置为60 to。
我在黑帕拉有两张大桌子。第一个表约有6.35亿个记录,第二个表约有250000个记录。我使用一个公共参数将这两个表连接起来。SQL语句如下所示:
select a.*, b.* from table_a a inner join table_b b on a.param=b.param order by a.t_date desc当我使用解释时,它显示了估计的每个主机的需求: Memory=992.03MB VCores=2.当我运行这个查询时,花了一个多小时,结果还没有返回。我想知道为什么要花这么长时间。这与mem_limit设置有关吗?我怎样才能调优这种查询?
发布于 2017-04-21 03:39:16
尝试以黑斑羚性能的形式进行调优
一些理想
big_table连接small_tablesummary,以查看哪些步骤需要很长时间。P/S:对不起,因为我的声誉不足以发布超过两个链接。
https://stackoverflow.com/questions/43136727
复制相似问题