powershell - 我们如何复制 Azure Data Lake Store 文件夹中的任何文件

标签 powershell azure azure-data-lake u-sql

我们已经有了 Move-AzureRmDataLakeStoreItem,它将在 Azure datalake 内的文件夹之间移动文件。我正在寻求的是在数据湖中复制文件而不影响原始文件。

我所知道的可能性是 -

  1. 使用USQL从源文件中EXTRACT数据,然后OUTPUT到目标文件 - 但我正在尝试复制所有类型的文件(. gz、.txt、.info、.exe、.msi),我不确定 USQL 是否可以帮助我处理 .gz、.exe 或 .msi 文件
  2. 使用数据工厂将数据从/复制到Data Lake存储

所以,我的问题是,我们是否还有其他东西可以用来在 Azure Data Lake Store 中执行文件复制?

最佳答案

您还有其他几个选择,

  1. 在 HDI 集群上运行 distcp - 与此处提供的说明类似。 https://learn.microsoft.com/en-us/azure/data-lake-store/data-lake-store-copy-data-wasb-distcp
  2. 如果您要复制有限数量的数据(例如 10-100 GB),请使用 adlcopy - https://learn.microsoft.com/en-us/azure/data-lake-store/data-lake-store-copy-data-azure-storage-blob

请问这样就够了吗?或者您想要 Azure Data Lake Store 通过其 REST API 原生支持的功能吗?

谢谢, 萨钦·谢思 Azure 数据湖项目经理。

关于powershell - 我们如何复制 Azure Data Lake Store 文件夹中的任何文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44381524/

相关文章:

c# - DateTime.TryParse 在 Azure Web App 中失败

powershell - 在添加到 $Error 变量时抑制 Powershell 错误

sql - SQL Reporting Services 是否可与 Azure 或任何其他 Azure 新推出的报告服务一起使用?

powershell - 'DotNetOpenAuth.Logger' 的类型初始化程序引发异常

具有多个值和一个键的 Powershell 哈希表

azure - azure 模拟器使用什么服务配置?

Azure 服务主体 - 将成员添加到 AD 组的权限

azure - Spark 可以写入 Azure Datalake Gen2 吗?

azure - Vertex 在 ADLA 中的准备时间过长

azure - USQL Azure 数据湖中的更新