我正在将一个 csv 文件加载到 pyspark 中,如下所示(在 pyspark shell 中):
>>> from pyspark.sql import SQLContext
>>> sqlContext = SQLContext(sc)
>>> df = sqlContext.read.format('com.databricks.spark.csv').options(header='true').load('data.csv')
但是我收到这个错误:
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
AttributeError: 'SQLContext' object has no attribute 'read'
>>>
我正在使用 spark 1.3.1,我正在尝试使用 spark-csv
最佳答案
您正在尝试使用 Spark 1.4+
语法。
对于 Spark 1.3
from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)
df = sqlContext.load(source="com.databricks.spark.csv", header="true", path = "cars.csv")
df.select("year", "model").save("newcars.csv", "com.databricks.spark.csv")
关于python - 在 pyspark 中读取 csv 时,SQLContext 对象没有读取属性,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32967805/