文章/答案/技术大牛

发布

社区首页 >问答首页 >ClassNotFoundException ParquetOutputFormat

问ClassNotFoundException ParquetOutputFormat
EN

Stack Overflow用户

提问于 2020-03-01 18:09:34

回答 1查看 2K关注 0票数 0

我想从CentOs中的有效负载创建一个拼图文件。这就是我所做的。

parquetDataSet.write().mode(SaveMode.Append).parquet(tempFile.getAbsolutePath());

下面是我使用的依赖项

<dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_2.12</artifactId>
        <version>2.4.1</version>
    </dependency>

帮助我解决以下问题是错误。

 Servlet.service() for servlet [dispatcherServlet] in context with path [] threw exception [Handler dispatch failed; nested exception is java.util.ServiceConfigurationError: org.apache.spark.sql.sources.DataSourceRegister: Provider org.apache.spark.sql.execution.datasources.parquet.ParquetFileFormat could not be instantiated] with root cause



java.lang.ClassNotFoundException: org.apache.parquet.hadoop.ParquetOutputFormat$JobSummaryLevel
        at java.net.URLClassLoader.findClass(URLClassLoader.java:382) ~[na:1.8.0_212]
        at java.lang.ClassLoader.loadClass(ClassLoader.java:424) ~[na:1.8.0_212]
        at org.springframework.boot.loader.LaunchedURLClassLoader.loadClass(LaunchedURLClassLoader.java:92) ~[app.jar:0.0.1-SNAPSHOT]
        at java.lang.ClassLoader.loadClass(ClassLoader.java:357) ~[na:1.8.0_212]
        at java.lang.Class.getDeclaredConstructors0(Native Method) ~[na:1.8.0_212]
        at java.lang.Class.privateGetDeclaredConstructors(Class.java:2671) ~[na:1.8.0_212]
        at java.lang.Class.getConstructor0(Class.java:3075) ~[na:1.8.0_212]
        at java.lang.Class.newInstance(Class.java:412) ~[na:1.8.0_212]

format

parquet

classnotfoundexception

回答 1

Stack Overflow用户

回答已采纳

发布于 2020-03-06 20:14:44

添加以下依赖项

<dependency>
    <groupId>org.apache.parquet</groupId>
    <artifactId>parquet-hadoop</artifactId>
    <version>1.11.0</version>
</dependency>

你可以去掉$JobSummaryLevel的ClassNotFoundException部分输出格式

我希望这能帮到你。

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/60474007

复制

相似问题

问ClassNotFoundException ParquetOutputFormat
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问ClassNotFoundException ParquetOutputFormatEN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问ClassNotFoundException ParquetOutputFormat
EN