文章/答案/技术大牛

发布

社区首页 >问答首页 >如何使用GCP实例访问spark？

问如何使用GCP实例访问spark？
EN

Stack Overflow用户

提问于 2020-03-23 10:04:48

回答 1查看 540关注 0票数 2

我在Google平台实例(Hana express)上使用spark。

我安装了火花和运行火花外壳，然后外壳运行良好，但我不能访问火花网络用户界面。

我在例子中增加了防火墙规则，但仍然不起作用。

我增加了屏幕截图。

谢谢。

apache-spark

google-cloud-platform

回答 1

Stack Overflow用户

回答已采纳

发布于 2020-03-23 12:27:27

查看控制台消息：

...
Spark context Web UI available at http://sap-hanaexpress-serverinclapps-1-vm.c.hana.271411.internal:4040
...

您无法从您的远程PC到达运行在 http://sap-hanaexpress-serverinclapps-1-vm.c.hana.271411.internal:4040上的Web。正如@Lamanus所提到的，此记录仅供内部使用。请看一下文档内部DNS

Google上的虚拟私有云网络有一个内部DNS服务，允许同一网络中的实例使用内部DNS名称相互访问。虚拟机(VM)实例的内部记录是在.internal的DNS区域中创建的。VM实例的PTR记录是在相应的反向区域中创建的。在管理实例时，Google会自动创建、更新和删除这些DNS记录。

和

VM实例的内部DNS名称仅解析为其主要内部IP地址。内部DNS名称不能用于连接到实例的外部IP地址。

为了解决这个问题，遵循以下步骤：

按照控制台消息中的建议将SPARK_LOCAL_IP="<IP address>"添加到配置文件中，其中IP address是VM的本地IP。
设置网络标签到您的VM
创建防火墙规则在端口4040启用到VM的传入连接
通过从你的电脑运行nmap -Pn EXTENAL_IP_OF_YOUR_VM来检查你的防火墙
通过浏览器http://EXTENAL_IP_OF_YOUR_VM:4040检查Web

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/60811381

复制

相似问题

问如何使用GCP实例访问spark？
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问如何使用GCP实例访问spark？EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问如何使用GCP实例访问spark？
EN