文章/答案/技术大牛

发布

社区首页 >问答首页 >无法加载复杂的JSON Spark HQL - _corrupt_record错误

问无法加载复杂的JSON Spark HQL - _corrupt_record错误
EN

Stack Overflow用户

提问于 2016-12-16 18:04:37

回答 1查看 300关注 0票数 0

我尝试在Spark HQL中加载以下JSON文件，但无法成功加载。给出_corrupt_record错误。

有人能解释一下这个错误吗？我可以读取和使用该文件与其他应用程序，如Notepad++(JSTool插件)，我相信它是适当的，没有损坏。

{"markers": [
		{
			"point":new GLatLng(40.266044,-74.718479), 
			"homeTeam":"Lawrence Library",
			"awayTeam":"LUGip",
			"markerImage":"images/red.png",
			"information": "Linux users group meets second Wednesday of each month.",
			"fixture":"Wednesday 7pm",
			"capacity":"",
			"previousScore":""
		},
		{
			"point":new GLatLng(40.211600,-74.695702),
			"homeTeam":"Hamilton Library",
			"awayTeam":"LUGip HW SIG",
			"markerImage":"images/white.png",
			"information": "Linux users can meet the first Tuesday of the month to work out harward and configuration issues.",
			"fixture":"Tuesday 7pm",
			"capacity":"",
			"tv":""
		},
		{
			"point":new GLatLng(40.294535,-74.682012),
			"homeTeam":"Applebees",
			"awayTeam":"After LUPip Mtg Spot",
			"markerImage":"images/newcastle.png",
			"information": "Some of us go there after the main LUGip meeting, drink brews, and talk.",
			"fixture":"Wednesday whenever",
			"capacity":"2 to 4 pints",
			"tv":""
		},
] }

json

apache-spark

hql

apache-spark-sql

回答 1

Stack Overflow用户

发布于 2016-12-16 18:09:04

您的JSON应该在每个对象一行中

{ object1 }
{ object2 }

默认read.json仅支持此结构。如果您想读取多行JSON，则可以通过sparkContext.wholeTextFiles和手动解析

在文档中是text

请注意，作为json文件提供的文件不是典型的

文件。每行必须包含一个独立的、自包含的有效JSON对象。因此，常规的多行JSON文件通常会失败。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/41181817

复制

相似问题

问无法加载复杂的JSON Spark HQL - _corrupt_record错误
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问无法加载复杂的JSON Spark HQL - _corrupt_record错误EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问无法加载复杂的JSON Spark HQL - _corrupt_record错误
EN