我正在尝试在 Azure 数据工厂管道中实现以下流程:
- 将文件从 SFTP 复制到本地文件夹。
- 在本地文件夹中创建一个逗号分隔的文件，其中包含文件列表及其内容 尺寸。
第一步很简单，使用“复制数据”步骤，将“SFTP”作为源，“文件系统”作为接收器。
正在复制文件，但在此步骤的输出中，我没有看到任何文件信息。
我也没有看到使用上一步中的数据创建文件的选项。
也许我使用了错误的技术？ 我使用 Azure 数据工厂的原因之一是集成运行时，它允许我们拥有单个固定 IP 来连接到外部 SFTP。 (更简单的防火墙配置)
有办法实现步骤2吗？
感谢您的见解!
最佳答案
没有内置功能可以实现此目的。
您需要将ADF与其他服务一起使用，我想您首先使用azure功能检查文件，然后进行复制。
结构应该是这样的:
您可以获取文件的大小并将其保存到 csv 文件:
获取文件大小(python):
How to fetch sizes of all SFTP files in a directory through Paramiko
并使用 pandas 将消息保存为 csv(python):
https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.to_csv.html
Writing a pandas DataFrame to CSV file
azure函数的简单http触发器(python):
(把处理逻辑放在azure函数体内，基本上除了图形界面和一些不支持的东西之外，你可以在azure函数体内做任何你想做的事情。你可以选择你熟悉的语言，但总之，ADF中没有一个功能可以满足您的想法。)
关于azure - 使用 Azure 数据工厂复制文件并放置复制的文件的 csv，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/63416877/