hadoop - yarn模式提交spark应用时出现异常

Question

异常: java.lang.NoSuchMethodError: org.apache.http.client.utils.URLEncodedUtils.parse(Ljava/lang/String;Ljava/nio/charset/Charset;)Ljava/util/List;

Answer 1

这是库版本冲突的情况。你应该检查几件事:你的运行时类路径是什么，特别是检查来自 hadoop 安装的库。如果有的话，你的 fat-jar 带来了哪些图书馆。您使用 --jar 选项添加的库。您还应该检查 spark 依赖于哪些库。一切都应该是一致的，但你的错误提示你用 1 个版本构建了你的应用程序 jar，但在运行时有另一个版本