我了解 Apache Apex 在 Hadoop 和 YARN 上运行。它是否利用 HDFS 进行持久性和复制以防止数据丢失?或者它有自己的吗?
最佳答案
Apache Apex 使用运算符(operator)状态检查点来实现容错。 Apex 使用 HDFS 写入这些检查点以进行恢复。但是,检查点存储是可配置的。 Apex 还实现了 checkpoint to Apache Geode 。 Apex 还使用 HDFS 上传工件,例如包含启动应用程序所需的应用程序 jar、其依赖项和配置等的应用程序包。
关于hadoop - Apache Apex 是否依赖 HDFS 还是有自己的文件系统?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36565767/