有什么方法可以将数据插入到 SQL 数据仓库表中吗? 假设我有一个 Azure SQL 数据仓库表: 列1 列2 列3 2019年09月10日 2019年10月15日
我有一个数据框 列1 列2 列3 2019年10月20日 2019年11月30日
然后合并到Azure数据仓库表的原始表
col1 col2 col3 2019年09月10日 2019年10月20日 2019年11月30日
谢谢大家的想法
最佳答案
很好的问题。我需要在几天内做同样的事情;只需要先完成一件初步的事情即可。尝试下面的概念,看看它是否适合您。
写入 Azure SQL 数据库或 SQL Server:
import com.microsoft.azure.sqldb.spark.config.Config
import com.microsoft.azure.sqldb.spark.connect._
// Aquire a DataFrame collection (val collection)
val config = Config(Map(
"url" -> "mysqlserver.database.windows.net",
"databaseName" -> "MyDatabase",
"dbTable" -> "dbo.Clients",
"user" -> "username",
"password" -> "xxxxxxxx"
))
import org.apache.spark.sql.SaveMode
collection.write.mode(SaveMode.Append).sqlDB(config)
请给我反馈并让我知道它是否适合您。我必须尽快做到这一点。
https://docs.databricks.com/data/data-sources/sql-databases-azure.html
https://learn.microsoft.com/en-us/azure/hdinsight/spark/apache-spark-connect-to-sql-database
关于python - Databricks:将数据帧合并到sql数据仓库表中,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58255818/