azure-data-lake - 要复制到 Azure Data Lake 表的 Azure 数据工厂复制事件

标签 azure-data-lake azure-data-factory

我需要将数据从本地 SQL 服务器增量复制到 Azure Data Lake Store 中的表中。

但是,当使用 Azure 门户创建复制事件时,在目标中我只能看到文件夹(没有表选项)。

如何将预定的本地表同步到 Data Lake 表?

最佳答案

Data Lake Store 没有表的概念。它是文件存储系统(如HDFS)。但是,您可以在 Data Lake Store 中存储的数据之上使用 Hive 或 Data Lake Analytics 等功能,以使数据符合架构。在 hive 中,您可以使用 external tables 来做到这一点,而在 Data Lake Analytics 中,您可以运行 simple extract script

希望这会有所帮助!

关于azure-data-lake - 要复制到 Azure Data Lake 表的 Azure 数据工厂复制事件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46211016/

相关文章:

azure - 将 json 数组作为参数/变量从 databricks 传递到 ADF

sql-server - 将本地 SQL Server 数据库数据以 Parquet 格式复制到 Azure

python-3.x - 对于 Python 3.8 Azure 数据湖 Gen 2,如何检查文件系统上是否存在文件?

azure - Delta Lake 和 ADLS Gen2 交易

python - U-SQL + Python 返回列数未知的数据帧

json - 使用数据工厂将嵌套对象从 SQL Server 复制到 Azure CosmosDB

azure-data-factory - Azure 数据工厂将数据流映射到 CSV 接收器导致零字节文件

java - 如何使用 java sdk 将文件从 azure adls gen 1 下载到本地?

azure - 如何使用 webhdfs API 访问 Azure datalake

sql - 如何删除不需要的行值,然后根据 ADF/Azure SQL DB 中的键合并行?