我在声明spark.driver.host设置时遇到了问题。假设我有一个主机名和绑定地址192.168.1.1 (它的linux,windows根本没有这个问题)。
如果我设置了一个属性,spark.driver.hostname = 192.168.1.1工作人员将响应主机名,这非常糟糕,因为他们没有这个主机名的DNS。
正如此故障排除页面所说:
如果SPARK_LOCAL_IP被设置为IP地址,它将被解析为主机名。
这里有一个问题:如何而不是将这个IP地址设置为主机名?
发布于 2020-10-30 08:56:46
您可以在spark环境中设置SPARK_LOCAL_HOSTNAME=ip地址来解决问题。
发布于 2015-04-08 13:31:45
主机名-f提供您的FQDN,将其添加到/etc/host文件中
火花节点上的ip地址
或者将主机名添加到火花节点使用的dns中。
https://stackoverflow.com/questions/29515943
复制相似问题