SparkSQL连接数据与Rest API数据
SparkSQL连接数据与Rest API数据
提问于 2021-10-19 18:21:06
我需要将一个hive表与来自Rest端点的JSON数据连接起来。使用UDF或数据源(如临时表)哪个更好？如果使用UDF，什么是限制RPS的好方法？
回答 1
Stack Overflow用户
发布于 2021-10-20 17:18:21
如果您需要查找Rest端点中的数据并触发，则可能需要查看mapParitions。这里是一个good explanation here，说明为什么只使用map (和一个UDF)会更好。这也意味着要节流。每个分区=1个执行器。所以你可以用这个来设置一个理论上的最大值。(我说的是理论上的最大值，因为你并不总是能保证得到你想要的所有执行者。)
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/69635929
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号