azure - 使用azure数据工厂根据空值过滤csv文件

标签 azure csv azure-data-factory

我现在在 blob 中有一个 CSV 文件,我想使用 azure 数据工厂将该 CSV 文件推送到 SQL 表中,但我想要的是在任何单元格具有空值的情况下对 CSV 数据设置检查条件,以便行数据将复制到错误表中,例如我在 CSV 中有 ID、姓名和联系人列,因此对于任何记录,假设联系人为 null(1, 'Gaurav', NULL),因此在这种情况下,该行将插入到错误表中如果该行中没有空值,那么该行将进入主表

注意:由于接收器是虚拟机上的 SQL,因此我们无法在那里创建任何此内容,我们只能在数据工厂级别处理此问题

最佳答案

这可以使用 ADF 中的映射数据流来完成。一种方法是使用带有表达式的派生列,该表达式使用 isNull() 函数等进行 null 检查。这样,您可以在新列中填充不同情况的一些值,然后可以在条件拆分中使用该值将不同的流重定向到不同的接收器。

关于azure - 使用azure数据工厂根据空值过滤csv文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/61336465/

相关文章:

azure - 是否可以从 Azure 数据工厂触发 AKS Pod

Azure DevOps Pipeline 托管代理 - 在哪里可以找到系统功能?

python - 如何加速代码——搜索数据框需要几个小时

json - 在复制数据任务期间指定文件夹名称

xml - 用python解析xml(查找带有特定文本的标签)

CSV 解析不识别换行符 (ASP)

azure - 将所有 API 结果提取到单个 CSV 文件 Azure 数据工厂

azure - Windows Azure 中的 Web 角色缩放

azure - 安全集群上的 Register-ServiceFabricApplicationType 始终超时

c# - 如何设置 DependencyTelemetry 的 Application Insights AuthenticatedUserId?