mysql - 如何将数据从csv加载到Spark中的mysql数据库？

Question

我想将数据从 csv 批量加载到 mySql。但是我可以看到将数据从 csv 插入到配置单元数据库的教程/逻辑。谁能帮助我使用 scala 在 spark 中实现上述集成？

Answer 1

这些教程不存在是有原因的。这个任务非常简单。这是最小的工作示例:

val dbStr = "jdbc:mysql://[host1][:port1][,[host2][:port2]]...[/[database]]"

spark
  .read
    .format("csv")
    .option("header", "true")
    .load("some/path/to/file.csv")
  .write
    .mode("overwrite")
    .jdbc(dbStr, tablename, props)