apache-spark - Spark 2.3 java.lang.NoSuchMethodError : io.netty.buffer.PooledByteBufAllocator.metric

Question

SPARK 2.3 抛出以下异常。任何人都可以请帮忙!!我尝试添加 JAR

308 [驱动程序] 错误 org.apache.spark.deploy.yarn.ApplicationMaster - 用户类抛出异常:java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.metric()Lio/netty/buffer/PooledByteBufAllocatorMetric;
java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.metric()Lio/netty/buffer/PooledByteBufAllocatorMetric;
在 org.apache.spark.network.util.NettyMemoryMetrics.registerMetrics(NettyMemoryMetrics.java:80)
在 org.apache.spark.network.util.NettyMemoryMetrics.(NettyMemoryMetrics.java:76)
在 org.apache.spark.network.client.TransportClientFactory.(TransportClientFactory.java:109)
在 org.apache.spark.network.TransportContext.createClientFactory(TransportContext.java:99)
在 org.apache.spark.rpc.netty.NettyRpcEnv.(NettyRpcEnv.scala:71)
在 org.apache.spark.rpc.netty.NettyRpcEnvFactory.create(NettyRpcEnv.scala:461)
在 org.apache.spark.rpc.RpcEnv$.create(RpcEnv.scala:57)
在 org.apache.spark.SparkEnv$.create(SparkEnv.scala:249)
在 org.apache.spark.SparkEnv$.createDriverEnv(SparkEnv.scala:175)
在 org.apache.spark.SparkContext.createSparkEnv(SparkContext.scala:256)
在 org.apache.spark.SparkContext.(SparkContext.scala:423)
在 org.apache.spark.api.java.JavaSparkContext.(JavaSparkContext.scala:58)
在 com.voicebase.etl.HBasePhoenixPerformance2.main(HBasePhoenixPerformance2.java:55)
在 sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
在 java.lang.reflect.Method.invoke(Method.java:498)
在 org.apache.spark.deploy.yarn.ApplicationMaster$$anon$4.run(ApplicationMaster.scala:706)
315 [主要] 错误 org.apache.spark.deploy.yarn.ApplicationMaster - 未捕获的异常:
org.apache.spark.SparkException:awaitResult 中抛出的异常:
在 org.apache.spark.util.ThreadUtils$.awaitResult(ThreadUtils.scala:205)
在 org.apache.spark.deploy.yarn.ApplicationMaster.runDriver(ApplicationMaster.scala:486)
在 org.apache.spark.deploy.yarn.ApplicationMaster.org$apache$spark$deploy$yarn$ApplicationMaster$$runImpl(ApplicationMaster.scala:345)
在 org.apache.spark.deploy.yarn.ApplicationMaster$$anonfun$run$2.apply$mcV$sp(ApplicationMaster.scala:260)
在 org.apache.spark.deploy.yarn.ApplicationMaster$$anonfun$run$2.apply(ApplicationMaster.scala:260)
在 org.apache.spark.deploy.yarn.ApplicationMaster$$anonfun$run$2.apply(ApplicationMaster.scala:260)
在 org.apache.spark.deploy.yarn.ApplicationMaster$$anon$5.run(ApplicationMaster.scala:800)
在 java.security.AccessController.doPrivileged(Native Method)
在 javax.security.auth.Subject.doAs(Subject.java:422)
在 org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1836)
在 org.apache.spark.deploy.yarn.ApplicationMaster.doAsUser(ApplicationMaster.scala:799)
在 org.apache.spark.deploy.yarn.ApplicationMaster.run(ApplicationMaster.scala:259)
在 org.apache.spark.deploy.yarn.ApplicationMaster$.main(ApplicationMaster.scala:824)
在 org.apache.spark.deploy.yarn.ApplicationMaster.main(ApplicationMaster.scala)
引起:java.util.concurrent.ExecutionException:盒装错误

Answer 1

我找到了解决方案。这是因为 hadoop 二进制文件是用旧版本编译的，需要我们替换它们。通过替换它们，我没有遇到任何有关 hadoop 的问题。

您需要更换 netty-3.6.2.Final.jar和 netty-all-4.0.23.Final.jar来自路径 $HADOOP_HOME\share\hadoop与 netty-all-4.1.17.Final.jar和 netty-3.9.9.Final.jar
这解决了我的问题。如果您有替代解决方案，请分享。