我最近几天在 azure 工厂上遇到了问题，上周没有出现此错误问题，并且 ADF(Azure 数据工厂)管道上没有任何更改，但最近 3 天发生了此错误
{"StatusCode":"DFExecutorUserError","Message":"Job failed due to reason: at Sink 'savetocurated': org.apache.hadoop.fs.azure.AzureException: com.microsoft.azure.storage.StorageException: This operation is not permitted on a non-empty directory.","Details":"org.apache.hadoop.fs.azure.AzureException: com.microsoft.azure.storage.StorageException: This operation is not permitted on a non-empty directory.\n\tat org.apache.hadoop.fs.azure.AzureNativeFileSystemStore.delete(AzureNativeFileSystemStore.java:2607)\n\tat org.apache.hadoop.fs.azure.AzureNativeFileSystemStore.delete(AzureNativeFileSystemStore.java:2617)\n\tat org.apache.hadoop.fs.azure.NativeAzureFileSystem.deleteFile(NativeAzureFileSystem.java:2657)\n\tat org.apache.hadoop.fs.azure.NativeAzureFileSystem$2.execute(NativeAzureFileSystem.java:2391)\n\tat org.apache.hadoop.fs.azure.AzureFileSystemThreadPoolExecutor.executeParallel(AzureFileSystemThreadPoolExecutor.java:223)\n\tat org.apache.hadoop.fs.azure.NativeAzureFileSystem.deleteWithoutAuth(NativeAzureFileSystem.java:2403)\n\tat org.apache.hadoop.fs.azure.NativeAzureFileSystem.delete(NativeAzureFileSystem.java:2453)\n\tat org.apache.hadoop.fs.azure.NativeAzureFileSystem.delete(NativeAzureFileSystem.java:1936)\n\tat org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter."}
我尝试了一些基于 internet/stackoverflow 的修复
- 创建新的链接服务 = 结果仍然失败
- 删除 Sink 文件夹中的所有数据 = 结果仍然失败
- 将上次成功文件复制到今天的错误文件并重新运行 = 结果仍然失败
也许有关于如何处理此错误的信息？
最佳答案
我能够通过创建 Azure Data Lake Storage Gen2 类型的新链接服务并更新我的接收器数据集以使用它来解决此错误。它们以前属于 Azure Blob 存储类型。在此更新并发布更改后，我的管道开始工作。
关于Azure Pipeline 数据流错误 不允许在非空目录上执行此操作，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/71686986/