java - 使用 Apache Spark (Java) 将 CSV 数据加载到 Dataframe 并转换为数组

Question

我有一个包含以下数据的 CSV 文件:

1,2,5  
2,4  
2,3 

我想将它们加载到具有数组字符串模式的数据框中

输出应如下所示。

[1, 2, 5]  
[2, 4]  
[2, 3] 

这里已经使用 scala 回答了这个问题: Spark: Convert column of string to an array

我想用 Java 实现它。
请帮忙

Answer 1

下面是 Java 的示例代码。您需要使用 spark.read().text(String path) 方法读取文件，然后调用 split 函数。

import static org.apache.spark.sql.functions.split;

public class SparkSample {
    public static void main(String[] args) {
        SparkSession spark = SparkSession
                .builder()
                .appName("SparkSample")
                .master("local[*]")
                .getOrCreate();
        //Read file
        Dataset<Row> ds = spark.read().text("c://tmp//sample.csv").toDF("value");
        ds.show(false);     
        Dataset<Row> ds1 = ds.select(split(ds.col("value"), ",")).toDF("new_value");
        ds1.show(false);
        ds1.printSchema();
    }
}