python - Keras 可以像 tensorflow 数据集那样预取数据吗?

标签 python tensorflow keras dataset

在TensorFlow的Dataset API中,我们可以使用dataset.prefetch(buffer_size=xxx)来预加载其他batch的数据,而GPU正在处理当前batch的数据,这样我就可以充分利用GPU .

我打算使用 Keras,想知道 keras 是否有类似的 API 让我充分利用 GPU,而不是串行执行:读取批处理 0->处理批处理 0->读取批处理 1-> 处理批处理 1-> ...

我简要浏览了 keras API,没有看到预取的描述。

最佳答案

如果您使用 workers > 1 调用 fit_generator,使用_multiprocessing=True,它将预取 queue_size 个批处理。

来自文档:max_queue_size:整数。生成器队列的最大大小。如果未指定,max_queue_size 将默认为 10。

关于python - Keras 可以像 tensorflow 数据集那样预取数据吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52176792/

相关文章:

python - 如何检查一个类的给定实例是否属于 python 中的主类?

c++ - 在 Tensorflow C++ 中使用 FIFOQueue 时遇到问题

python - 如何使用经过训练的 Tensorflow 模型预测值

python - 使用 Keras 的不平衡数据集

python - Crontab 没有按预期工作

python - 多次使用 min() 还是将其存储在变量中对性能更好?

python - 如何解决 selenium webdriver 中的斜线问题?

python - 使用 tf.data 批量顺序数据

python - 将 Keras 掩蔽层与 2D 卷积 (Conv2D) 结合使用

python - 检查目标时出错 : Converting FC layers to Conv2D