java - 收到此错误 "cannot access scala.reflect.api.TypeTags"

Question

我正在从 Spark 1.6 迁移到 Spark 2.1。在 Maven 构建期间，我在下面提到的方法中的一个 Java 类中遇到了这个错误。

"cannot access scala.reflect.api.TypeTags - class file for scala.reflect.api.TypeTags not found"

这是我的代码

private Dataset<Row> getEmptyDataFrame(String columnName) {
    StructType structType = new StructType().add(columnName, DataTypes.StringType);
    return spark.createDataFrame(sc.emptyRDD(), structType);
  }

其中“spark”和“sc”分别是 SparkSession 和 JavaSparkContext 对象。

我正在使用 scala-reflect 2.11.8 jar

需要知道此错误的根本原因。

Answer 1

修复它。 scala-reflect jar 的范围被指定为“运行时”。因此，它无法在 Maven 构建/编译期间获取它。