我正在创建一个数据管道，将数据从一个文件复制到另一个文件。我的输入文件有 4 列，输出文件有 2 列。我只想复制输入文件的第 1 列和第 3 列并将其存储在输出文件中。复制后，我想从输出文件中删除重复项。但我无法使用 Dataflow、Databricks 或 Azure datalake 分析，因为我的设置中没有计算。 有没有什么方法可以不使用计算来做到这一点？
最佳答案
您需要一个用于重复数据删除的计算环境。 ADF 管道库中有针对不同行和重复数据删除的预构建模式。
关于azure - 如何使用 Azure 数据工厂删除文件中的重复项，而不使用 Dataflow 或 Databricks 或 Azure datalake 分析，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/61381768/