scala - Spark shell : strange behavior with import

Question

我正在 Spark-shell 中工作(Spark 版本 2.1.0，使用 Scala 版本 2.11.8，OpenJDK 64 位服务器 VM，1.7.0_151)。

我导入Column类:

scala> import org.apache.spark.sql.Column
import org.apache.spark.sql.Column

我可以定义一个Column对象:

scala> val myCol: Column = col("blah")
myCol: org.apache.spark.sql.Column = blah

并在函数定义中使用Column:

scala> def myFunc(c: Column) = ()
myFunc: (c: org.apache.spark.sql.Column)Unit

到目前为止一切顺利。 但是定义类时，找不到Column:

scala> case class myClass(c: Column)
<console>:11: error: not found: type Column
       case class myClass(c: Column)

但是单行文字的工作原理是:

scala> case class myClass(c: org.apache.spark.sql.Column)
defined class myClass

或

scala> import org.apache.spark.sql.Column; case class myClass(c: Column)
import org.apache.spark.sql.Column
defined class myClass

Answer 1

这是Spark issue .
它适用于 Spark 1.6，但该问题在 Spark 2.1.0 或更高版本中仍然存在。

根本原因:

Classes defined in Shell are inner classes, and therefore cannot be easily instantiated by reflection. They need an additional reference to the outer object, which is non-trivial to obtain.

作为解决方法，请尝试在 Spark-shell 中使用 :paste。