问python spark无法访问executor中的http服务器
EN

Stack Overflow用户

提问于 2016-11-04 02:51:07

回答 1查看 242关注 0票数 0

我使用的是Python Spark，并且我试图访问每个分区中的http。但它始终停留在那里，示例如下：

sc = SparkContext(appName="Fetch Http")
lines = sc.textFile("urls.txt", 10)
lines.map(fetch).saveAsTextFile("hdfs://node1/pages")

def fetch(url)
  http = urllib3.PoolManager()
  postResponse = http.request('POST',url,headers=JSON)
  jData = json.loads(postResponse.data)
  vectorStr = contertFun(jData)
  return vectorStr

apache-spark

pyspark

回答 1

Stack Overflow用户

发布于 2016-11-07 06:12:26

您的代码存在一些问题：

您不提供超时，因此如果连接挂起，它将卡住
您不会返回任何内容，因此没有任何东西可以保存
您使用无法重复使用的连接池

总体而言，这没有多大意义。

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/40409163

复制

相似问题

问python spark无法访问executor中的http服务器
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问python spark无法访问executor中的http服务器EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问python spark无法访问executor中的http服务器
EN