spring - Spark/Spring验证API依赖项冲突

标签 spring apache-spark hadoop dependencies

我运行Spring / Spark应用程序并遇到此问题

以下方法不存在:

javax.validation.BootstrapConfiguration.getClockProviderClassName()Ljava/lang/String;

该方法的类javax.validation.BootstrapConfiguration可从以下位置获得:
***validation-api-1.1.0.Final.jar!/javax/validation/BootstrapConfiguration.class

***/BOOT-INF/lib/validation-api-2.0.1.Final.jar!/javax/validation/BootstrapConfiguration.class

它是从以下位置加载的:
file:/usr/hdp/2.6.3.0-235/spark2/jars/validation-api-1.1.0.Final.jar

如何使spark首先读取我的依赖项,然后查看系统库?

我试图在Oozie中指定

我试图在spark-submit中指定

到目前为止没有任何工作。

最佳答案

曾经遇到过类似的情况。我最终完成了以下操作。即我将所需的 jar 复制到目录,并使用extraClasspath选项

spark-submit   --conf spark.driver.extraClassPath="C:\sparkjars\validation-api-2.0.1.Final.jar;C:\sparkjars\gson-2.8.6.jar" myspringbootapp.jar

在文档中,spark.driver.extraClassPath额外的类路径条目附加在驱动程序的类路径之前。

关于spring - Spark/Spring验证API依赖项冲突,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/60382788/

相关文章:

apache-spark - Kerberos:Spark UGI 凭据没有传递给 Hive

postgresql - 将数据从 PostgreSQL 移动到 AWS S3 并使用 RedShift Spectrum 进行分析

java - 错误 : Split metadata size exceeded 10000000

Hadoop Datanode、namenode、secondary-namenode、job-tracker 和 task-tracker

hadoop - 在 hadoop 上运行 RecommenderJob 时遇到问题

java - Spring boot从类路径加载H2 db文件

hadoop - Sparks作业卡在多节点 yarn 簇中

java - Spring项目中APN的休息 Controller (推送通知)

java - 为什么 Controller 需要在绑定(bind)错误上添加模型

spring - Kotlin 无法在使用 @Configuration @EnableWebMvc 注释的类中创建 @Autowired 字段