设置 Apache Airflow 集群的最低硬件要求是什么。
例如。集群中不同类型节点的 RAM、CPU、磁盘等。
最佳答案
我在伪分布式模式(32 个并行工作线程；Postgres 后端)下使用非常小的实例没有任何问题:
如果你想要分布式模式，如果你保持同质化，你应该很好。无论如何， Airflow 不应该真正做繁重的工作；将工作负载推向其他事物(Spark、EMR、BigQuery 等)。
您还必须运行某种消息队列，例如 RabbitMQ。我认为他们也采用 Redis。但是，这并不会真正显着影响您的尺寸。
关于airflow - Apache Airflow 集群的最低硬件要求，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/47277180/