scala - 错误 : org. apache.spark.sql.AnalysisException:无法推断 CSV 的架构

Question

我尝试使用这个基本命令在 scala 中读取 CSV:

val df = spark.read
  .option("header", "true")
  .option("sep","|")
  .option("inferSchema", "true")
  .csv("path/to/_34File.csv")

我得到:

org.apache.spark.sql.AnalysisException: Unable to infer schema for CSV. It must be specified manually.

解决办法是什么？

Answer 1

解决方案是将文件从“_34File.csv”重命名为“34File.csv”。这是一个特殊的案例，但对我有用。