python - 创建 Spark DataFrame。无法推断类型的架构

Question

有人可以帮我解决 Spark DataFrame 遇到的这个问题吗？

当我执行 myFloatRDD.toDF() 时出现错误:

TypeError: Can not infer schema for type: type 'float'

我不明白为什么......

例子:

myFloatRdd = sc.parallelize([1.0,2.0,3.0])
df = myFloatRdd.toDF()

谢谢

Answer 1

SparkSession.createDataFrame ，在引擎盖下使用，需要 RDD/list的 Row/tuple/list/ dict * 或 pandas.DataFrame , 除非架构带有 DataType提供。尝试像这样将 float 转换为元组:

myFloatRdd.map(lambda x: (x, )).toDF()

甚至更好:

from pyspark.sql import Row

row = Row("val") # Or some other column name
myFloatRdd.map(row).toDF()

创建 DataFrame从标量列表中，您必须使用 SparkSession.createDataFrame直接提供架构***:

from pyspark.sql.types import FloatType

df = spark.createDataFrame([1.0, 2.0, 3.0], FloatType())

df.show()

## +-----+
## |value|
## +-----+
## |  1.0|
## |  2.0|
## |  3.0|
## +-----+

但是对于一个简单的范围，最好使用 SparkSession.range :

from pyspark.sql.functions import col

spark.range(1, 4).select(col("id").cast("double"))

---

* 不再支持。

** Spark SQL 还对暴露 __dict__ 的 Python 对象的模式推断提供有限支持。 .

*** 仅在 Spark 2.0 或更高版本中受支持。