我正在做一些关于spark_with_hadoop2.7(2.4.3),hadoop(3.2.0)和Ceph luminous的组合。当我尝试使用spark访问ceph(例如,在shell上启动spark-sql
)时,出现如下异常:
INFO impl.MetricsSystemImpl: s3a-file-system metrics system started
Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.security.ProviderUtils.excludeIncompatibleCredentialProviders(Lorg/apache/hadoop/conf/Configuration;Ljava/lang/Class;)Lorg/apache/hadoop/conf/Configuration;
at org.apache.hadoop.fs.s3a.S3AUtils.getAWSAccessKeys(S3AUtils.java:740)
at org.apache.hadoop.fs.s3a.SimpleAWSCredentialsProvider.<init>(SimpleAWSCredentialsProvider.java:58)
at org.apache.hadoop.fs.s3a.S3AUtils.createAWSCredentialProviderSet(S3AUtils.java:600)
对于
NoSuchMethodError
,最有可能是因为根据how-do-i-fix-a-nosuchmethoderror,已编译的类版本与运行的类版本不同。要访问
Ceph
,在aws-java-sdk-bundle-1.11.375.jar
下的aws相关jars hadoop-aws-3.2.0.jar
和$HADOOP_HOME/share/hadoop/tools/lib
实际使用。我做了以下操作:1,将这两个 jar 复制到
$SPARK_HOME/jars
2,修改$HADOOP_HOME/etc/hadoop/hadoop-env.sh
在下面添加语句:export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HADOOP_HOME/share/hadoop/tools/lib/*
通过执行上述步骤,我可以启动hdfs来访问ceph,例如,我可以使用
hdfs dfs -ls
列出ceph存储桶下的文件夹。事实证明,与aws相关的 jar 工作正常。(据我了解)。但是,为什么在我调用spark时有关aws s3a的异常抛出?
最佳答案
所有hadoop- * JAR都必须在版本上100%匹配,否则您将看到这样的堆栈跟踪。
有关更多信息,请重读
关于apache-spark - Spark使用s3a:java.lang.NoSuchMethodError,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/57242548/