python - 为什么要使用 tensorflow gfile？ (对于文件 I/O)

Question

Tensorflow 代码使用与 Python 内置方法不同的文件 I/O 方法。 根据source code , 它的用途是

"File I/O wrappers without thread locking"

我不确定它在什么场合有用，什么时候不应该使用。

有什么想法吗？

谢谢

Answer 1

这条评论:

File I/O wrappers without thread locking

...对于 TensorFlow 的 tf.gfile 是一个特别没有帮助的描述模块!

tf.gfile模块的主要作用是:

1. 提供接近 Python 的 API file对象，和
2. 提供基于 TensorFlow 的实现 C++ FileSystem API .

C++ FileSystem API 支持多种文件系统实现，包括本地文件、Google Cloud Storage(使用 gs:// 前缀)和 HDFS(使用 code>hdfs:// 前缀)。 TensorFlow 将这些导出为 tf.gfile，以便您可以使用这些实现来保存和加载检查点、编写 TensorBoard 日志以及访问训练数据(以及其他用途)。但是，如果您的所有文件都是本地文件，则可以毫无问题地使用常规 Python 文件 API。