apache-flink - 我可以将 flink rocksDB 状态后端与本地文件系统一起使用吗？

Question

我正在探索使用 Flink rocksDb 状态后端，文档似乎暗示我可以使用常规文件系统，例如:file:///data/flink/checkpoints，但代码仅 javadoc在这里提到了 hdfs 或 s3 选项。

我想知道是否可以将本地文件系统与 flink rocksdb 后端一起使用，谢谢!

Flink 文档:https://ci.apache.org/projects/flink/flink-docs-stable/ops/state/state_backends.html#the-rocksdbstatebackend

Flink 代码:https://github.com/apache/flink/blob/master/flink-state-backends/flink-statebackend-rocksdb/src/main/java/org/apache/flink/contrib/streaming/state/RocksDBStateBackend.java#L175

Answer 1

不，你不应该那样做!

使用此路径，您可以配置 Flink 写入检查点的目录。检查点是应用程序状态的副本，用于在发生故障(例如机器故障)时恢复应用程序状态。该路径必须指向一个持久的远程存储，以便能够在进程被终止或机器死亡的情况下读取检查点。如果将检查点写入失败机器的本地文件系统，您将无法恢复作业和恢复状态。

但是，如果这是也可以从其他机器挂载的 NFS(或任何其他远程存储)的挂载点，您可以将检查点写入本地路径。