apache-spark - 属性错误: 'SQLContext' object has no attribute 'jsonFile'

标签 apache-spark pyspark

当我执行以下操作时。我在centos 7.0和spark 2.1.0中遇到了这个问题。我是 Spark 中的新生。怎么解决?

>>> from pyspark.sql import SQLContext
>>> ssc = SQLContext(sc)
>>> df = ssc.jsonFile('file:///root/work/person.json')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
AttributeError: 'SQLContext' object has no attribute 'jsonFile'

最佳答案

SparkSession 与较新版本的 Spark 结合使用并使用 df = Spark.read.json('json 路径).

关于apache-spark - 属性错误: 'SQLContext' object has no attribute 'jsonFile' ,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44154296/

相关文章:

java.lang.ClassCastException : scala. Tuple2 无法转换为 java.lang.Iterable

apache-spark - Spark 是否知道 DataFrame 的分区键?

apache-spark - 更改 tmp 目录在 Spark 中不起作用

python - Spark : Distribute low number of compute-intensive tasks via UDF

python - 无法导入 pyspark 统计模块

java - 我知道如何在数据集上执行 orderBy ("a"、 "b"...)、groupBy。我需要独立地对每个记录子集进行计算和处理

java - 如何将模型从 ML Pipeline 保存到 S3 或 HDFS?

python - Pyspark - 在 lambda 中调用函数会导致导入错误

python - PySpark 逐行函数组合

apache-spark - PySpark:加入后不一致的 count() 结果