Scala:未指定的值参数证据$3

Question

我环顾四周，发现了其他几个例子，但从这些答案中我并没有真正理解实际发生了什么。

我想了解为什么以下代码无法编译:

val df = readFiles(sqlContext).
    withColumn("timestamp", udf(UDFs.parseDate _)($"timestamp"))

给出错误:

Error:(29, 58) not enough arguments for method udf: (implicit evidence$2: reflect.runtime.universe.TypeTag[java.sql.Date], implicit evidence$3: reflect.runtime.universe.TypeTag[String])org.apache.spark.sql.UserDefinedFunction.
Unspecified value parameter evidence$3.
            withColumn("timestamp", udf(UDFs.parseDate _)($"timestamp")).
                                                         ^

而这段代码会编译:

val parseDate = udf(UDFs.parseDate _)
val df = readFiles(sqlContext).
    withColumn("timestamp", parseDate($"timestamp"))

显然我找到了一个“解决方法”，但我真的很想了解:

1. 这个错误的真正含义。我在 TypeTags 和 ClassTags 上找到的信息真的很难理解。我不是来自 Java 背景，这可能没有帮助，但我想我应该能够掌握它……
2. 如果我可以在没有单独的函数定义的情况下实现我想要的

Answer 1

错误信息确实有点误导；原因是函数 udf 采用隐式参数列表，但您传递的是实际参数。由于我对 spark 了解不多，并且由于 udf 签名有点复杂，我将尝试用一个简化的示例来解释发生了什么。

实际上 udf 是一个给定一些显式参数的函数，而一个隐式参数列表给你另一个函数；让我们定义以下函数，给定一个 T 类型的 pivot，我们有一个隐含的 Ordering 将作为允许我们拆分的函数给出一分为二的序列，一个包含小于 pivot 的元素，另一个包含更大的元素:

def buildFn[T](pivot: T)(implicit ev: Ordering[T]): Seq[T] => (Seq[T], Seq[T]) = ???

让我们忽略实现，因为它并不重要。现在，如果我执行以下操作:

val elements: Seq[Int] = ???
val (small, big) = buildFn(10)(elements)

我会犯与您在代码中显示的相同类型的错误，即编译器会认为我将 elements 作为隐式参数列表显式传递，这将无法编译。我的示例的错误消息将与您的错误消息有所不同，因为在我的情况下，我错误地为隐式参数列表传递的参数数量与预期的匹配，然后错误将与类型不对齐。

相反，如果我把它写成:

val elements: Seq[Int] = ???
val fn = buildFn(10)
val (small, big) = fn(elements)

在这种情况下，编译器会正确地将隐式参数传递给函数。我不知道有什么方法可以规避这个问题，除非你想显式地传递实际的隐式参数，但我觉得它很丑陋而且并不总是实用的；供引用，这就是我的意思:

val elements: Seq[Int] = ???
val (small, big) = buildFn(10)(implicitly[Ordering[Int]])(elements)