apache-spark - VectorUDT 用法

Question

我必须获取数据类型并进行大小写匹配并将其转换为某种所需的格式。但是 org.apache.spark.ml.linalg.VectorUDT 的使用显示 VectorUDT 是private。另外，我特别需要使用 org.apache.spark.ml.linalg.VectorUDT 而不是 org.apache.spark.mllib.linalg.VectorUDT 。有人可以建议如何解决这个问题吗？

Answer 1

对于 org.apache.spark.ml.linalg 类型，您应该使用 org.apache.spark.ml.linalg.SQLDataTypes which provide singleton instances of the private UDT types 指定架构:

• MatrixType对于矩阵 (org.apache.spark.ml.linalg.Matrix)。

  scala> org.apache.spark.ml.linalg.SQLDataTypes.MatrixType.getClass
  res0: Class[_ <: org.apache.spark.sql.types.DataType] = class org.apache.spark.ml.linalg.MatrixUDT
  

• VectorType对于向量 (org.apache.spark.ml.linalg.Vector)。

  scala> org.apache.spark.ml.linalg.SQLDataTypes.VectorType.getClass
  res1: Class[_ <: org.apache.spark.sql.types.DataType] = class org.apache.spark.ml.linalg.VectorUDT