hadoop - Apache Apex 是否依赖 HDFS 还是有自己的文件系统?

标签 hadoop apache-apex bigdata

我了解 Apache Apex 在 Hadoop 和 YARN 上运行。它是否利用 HDFS 进行持久性和复制以防止数据丢失?或者它有自己的吗?

最佳答案

Apache Apex 使用运算符(operator)状态检查点来实现容错。 Apex 使用 HDFS 写入这些检查点以进行恢复。但是,检查点存储是可配置的。 Apex 还实现了 checkpoint to Apache Geode 。 Apex 还使用 HDFS 上传工件,例如包含启动应用程序所需的应用程序 jar、其依赖项和配置等的应用程序包。

关于hadoop - Apache Apex 是否依赖 HDFS 还是有自己的文件系统?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36565767/

相关文章:

hadoop - 由于hbase.cluster.distributed为false,因此未启动独特的区域服务器

shell - pig 剧本永远卡在心跳

apache-spark - Apache Spark 和 Apache Apex 之间有什么区别?

sql - hive 中的复杂查询分组

hadoop - 在 HDFS-Solr 中存储索引文件

hadoop - 在emp表上的配置单元查询,该表显示了推销员的姓名,工资以及业务员的sal> max> sal

java - 在 DTconsole 中窗口 ID 达到 59 后重置为 0

mysql - Sqoop 导出时如何将 null 转换为 0

java - 存储巨大瓦片 map 的选项