eclipse - 为什么当 Maven 构建工作良好但将 Spark Jar 添加为外部 Jar 时会出现编译错误 “object Apache is not a member of package org”

Question

在 Eclipse 上，在设置 spark 时，即使在添加外部 jar 以构建到 spark-2.4.3-bin-hadoop2.7/jars/<_all.jar> 的路径之后也是如此,
编译器提示'“object apache is not a member of package org''
是的，通过 Maven 或 SBT 构建依赖项可以解决它。问了一个问题
scalac compile yields "object apache is not a member of package org"

但是这里的问题是，为什么传统的方式就这样失败了吗？

Answer 1

如果我们在这里引用，Scala/Spark version compatibility我们可以看到类似的问题。问题是 Scala 不向后兼容 .因此，每个 Spark 模块都针对特定的 Scala 库进行编译。但是当我们从 eclipse 运行时，eclipse Scala 环境可能与我们设置了 Spark 库的特定 scala 版本不兼容。