azure - 我在空闲时收到大量事务(Airflow 和 Azure 文件共享)

标签 azure azure-storage airflow azure-files

我需要将不同文件中的数据加载到 Azure SQL 数据库中。因此,我设置了一个运行 Airflow 的 VM 和两个 Azure 文件共享,一个用于我的 dags(以便我可以在不通过 sshing 进入 VM 的情况下修改它们),另一个用于删除将要加载的文件。

我将这两个文件共享安装到虚拟机和我的 PC 上,并将它们用作普通驱动器。

系统当前处于空闲状态,我可以在 Azure 门户中看到每 5 分钟收到大约 24k 个事务,但我看不到具体是什么生成了这些事务。

虚拟机是否可能不断请求文件列表或触摸文件共享以检查它是否仍然存在?我怎样才能避免这种情况?

谢谢!

最佳答案

我可以确认,共享驱动器中的 dags 文件夹是导致交易量如此惊人的原因。我将 dags 文件夹移至 VM 驱动器,现在一切恢复正常。

关于azure - 我在空闲时收到大量事务(Airflow 和 Azure 文件共享),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/65274774/

相关文章:

airflow - 配置 Airflow 以与 CeleryExecutor 一起使用

c# - 如何为 ASP.NET Core 3.1 配置 Azure 应用服务应用程序设置?

azure - ServiceBusTrigger处理Deadletter消息

python-3.x - Airflow 2.0 Docker 设置

Azure Blob - 调用 UploadFile() 时出现 ArgumentNullException

node.js - 用于本地连接的 Azure 表存储的连接字符串

java - 是否可以在没有调度程序的情况下使用 Apache Airflow 来执行编排任务?

删除 Composer SiteExtension 后 Azure Web 应用程序部署失败

azure - ARM嵌套模板 ‘Invalid Template could not find template resource’

Azure 静态网站构建管道 -> blob 上传