以下选项是在 yarn 集群上运行时给予用户 jar 优先于 oozie 共享 lib jar 的最佳方法(以解决类冲突问题)吗?
<property>
<name>oozie.launcher.mapreduce.user.classpath.first</name>
<value>true</value>
</property>
了解更多详情,Apache Oozie ebook
最佳答案
是的,您可以使用此选项,但如果jars版本与yarn/spark集群库不兼容,有时在运行作业时会出现意外错误(例如,某些方法可能在最新版本中被删除)。
关于java - Spark 操作中用户 lib jar 优先于 oozie 共享 lib,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48717343/