我需要将不同文件中的数据加载到 Azure SQL 数据库中。因此,我设置了一个运行 Airflow 的 VM 和两个 Azure 文件共享,一个用于我的 dags(以便我可以在不通过 sshing 进入 VM 的情况下修改它们),另一个用于删除将要加载的文件。
我将这两个文件共享安装到虚拟机和我的 PC 上,并将它们用作普通驱动器。
系统当前处于空闲状态,我可以在 Azure 门户中看到每 5 分钟收到大约 24k 个事务,但我看不到具体是什么生成了这些事务。
虚拟机是否可能不断请求文件列表或触摸文件共享以检查它是否仍然存在?我怎样才能避免这种情况?
谢谢!
最佳答案
我可以确认,共享驱动器中的 dags 文件夹是导致交易量如此惊人的原因。我将 dags 文件夹移至 VM 驱动器,现在一切恢复正常。
关于azure - 我在空闲时收到大量事务(Airflow 和 Azure 文件共享),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/65274774/