我可以使用以下命令将 json 文件读入 Pyspark 中的数据帧
spark = SparkSession.builder.appName('GetDetails').getOrCreate()
df = spark.read.json("path to json file")
但是,当我尝试将 bz2(压缩的 csv)读入数据帧时,它给了我一个错误。我在用:
spark = SparkSession.builder.appName('GetDetails').getOrCreate()
df = spark.read.load("path to bz2 file")
你能帮我纠正一下吗?
最佳答案
方法spark.read.load()
有一个可选参数 format
默认情况下是“ Parquet ”。
因此,要使您的代码正常工作,它应该如下所示:
df = spark.read.load("data.json.bz2", format="json")
另外,spark.read.json
将完美地适用于压缩的 JSON 文件,例如:
df = spark.read.json("data.json.bz2")
关于python - 如何使用pyspark将bz2文件读入数据帧?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50689331/