apache-spark - 如何在spark中将数据框转换为csv

标签 apache-spark machine-learning pyspark

如何在 Spark 中将数据帧转换为 csv,其读作

dataFrame = spark.read.csv("testData2.csv",header='true')

最佳答案

您还没有提到 Spark 版本。以下是选项

Spark 1.4+

dataFrame.write.format('com.databricks.spark.csv').save('testdata.csv')

Spark 2.0+

dataFrame.write.csv('testdata.csv')

关于apache-spark - 如何在spark中将数据框转换为csv,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48107563/

相关文章:

python - Pyspark UDF 中自定义 Python 对象的使用

apache-spark - PySpark:使用 binaryFiles() 函数读取二进制文件时进行分区

apache-spark - Spark Streaming以Parquet格式附加到S3,小分区太多

matlab - 如何在 matlab 2012a 中应用反向传播进行 3 类分类任务?

python - 用于精度和召回的 Keras 自定义决策阈值

python - 加载和预测新数据 sklearn

python - 在 pyspark 中对数据帧进行分组之前进行排序是否安全?

hadoop - Spark数据帧插入到配置单元表失败,因为使用用户名映射器创建的一些暂存零件文件

scala - 为什么Spark RDD分区对于HDFS有2GB的限制?

pyspark - Toree 安装错误 |未知解释器 PySpark。 toree无法安装PySpark