这个问题在这里已经有了答案:
Does spark-sql support multiple delimiters in the input data?
(1 个回答)
How to split using multi-char separator with pipe?
(1 个回答)
3年前关闭。
我有 [~]作为我正在阅读的某些 csv 文件的分隔符。
1[~]a[~]b[~]dd[~][~]ww[~][~]4[~]4[~][~][~][~][~]
我试过这个
val rddFile = sc.textFile("file.csv")
val rddTransformed = rddFile.map(eachLine=>eachLine.split("[~]"))
val df = rddTransformed.toDF()
display(df)
然而，这个问题在于它是一个带有
[ 的单值数组。和 ]在每个领域。所以数组将是["1[","]a[","]b[",...]
我不能用
val df = spark.read.option("sep", "[~]").csv("file.csv")
因为不支持多字符分隔符。我可以采取什么其他方法？
1[~]a[~]b[~]dd[~][~]ww[~][~]4[~]4[~][~][~][~][~]
2[~]a[~]b[~]dd[~][~]ww[~][~]4[~]4[~][~][~][~][~]
3[~]a[~]b[~]dd[~][~]ww[~][~]4[~]4[~][~][~][~][~]
编辑 - 这不是重复的，重复的线程是关于多分隔符的，这是多字符单分隔符
最佳答案
val df = spark.read.format("csv").load("inputpath")
df.rdd.map(i => i.mkString.split("\\[\\~\\]")).toDF().show(false)
试试下面
为您的另一个要求
val df1 = df.rdd.map(i => i.mkString.split("\\[\\~\\]").mkString(",")).toDF()
val iterationColumnLength = df1.rdd.first.mkString(",").split(",").length
df1.withColumn("value",split(col("value"),",")).select((0 until iterationColumnLength).map(i => col("value").getItem(i).as("col_" + i)): _*).show
关于scala - 可以在 spark 中处理多字符分隔符，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/52083828/