java - 从通过读取csv创建的spark数据集中删除第一行

This question already has answers here:

How do I skip a header from CSV files in Spark?

                                （12个答案）


                2年前关闭。




我有一个csv（employee.csv）文件，如下所示：

20180011,20180011123,007,07
Employee_ID,Name,Country
1,Maddy,IND
2,Sun,US

现在，我正在使用spark读取csv文件，如下所示：

Dataset<Row> dataset = spark.read().format("csv")
                        .option("header", "false")
                        .load("./employee.csv");

现在，我需要删除CSV文件的第一行20180011,20180011123,007,07，并将其加载到带有CSV头文件的数据集中

Employee_ID,Name,Country
1,Maddy,IND
2,Sun,US

有人可以帮我吗？

最佳答案

此代码首先过滤垃圾行，然后提取标头，然后转换为Dataframe。

    val ss = SparkSession.builder().appName("local").master("local[*]").getOrCreate()

    val path = "C:\\Users\\user1\\data.txt"

    val data = ss.sparkContext.textFile(path)
    val junk = data.first()

    val fdata = data.filter(x => x != junk) // removes the first line

    val header = fdata.filter(x => x.split(",")(1) == "Name").collect().mkString // filtering the header line.

    import ss.implicits._
    val df = fdata
        .filter(x => x.split(",")(1) != "Name") // filtering all except header line
        .map(x => x.split(","))
        .map(t => (t(0), t(1), t(2))) //splitting data to tuples
        .toDF(header.split(","): _*) // applying header string as column names
    df.show()

输出：

+-----------+-----+-------+
|Employee_ID| Name|Country|
+-----------+-----+-------+
|          1|Maddy|    IND|
|          2|  Sun|     US|
+-----------+-----+-------+

关于java - 从通过读取csv创建的spark数据集中删除第一行，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/52069828/

上一篇：java - 在不同监听器之间切换

下一篇：java - Spring Boot批量读取/验证不同格式的多个csv文件

相关文章：

scala - 如何从 for-comprehension 中删除折叠？

java - 如何为 Kryo Serializer 注册多个类？ (例如包中的所有类)

python - 如何在 PySpark 中一天内累积超过 '1 hour' 个窗口

java - Hibernate 错误在@PostPersist 方法中保留一个实体

java - 如何将 JavaFX 图像转换为 OpenCV 矩阵？

java - Java中数组从小到大排序

scala - 如何在 scala shapeless 中显示 HList 的类型

apache-spark - org.apache.spark.sql.AnalysisException : 'write' can not be called on streaming Dataset/DataFrame

hadoop - Spark/YARN-并非所有节点都在Spark提交中使用

java - java中将整数数组分成不同大小的数组