在TensorFlow的Dataset API中,我们可以使用dataset.prefetch(buffer_size=xxx)
来预加载其他batch的数据,而GPU正在处理当前batch的数据,这样我就可以充分利用GPU .
我打算使用 Keras,想知道 keras
是否有类似的 API 让我充分利用 GPU,而不是串行执行:读取批处理 0->处理批处理 0->读取批处理 1-> 处理批处理 1-> ...
我简要浏览了 keras
API,没有看到预取的描述。
最佳答案
如果您使用 workers
> 1 调用 fit_generator
,使用_multiprocessing=True
,它将预取 queue_size 个批处理。
来自文档:max_queue_size:整数。生成器队列的最大大小。如果未指定,max_queue_size 将默认为 10。
关于python - Keras 可以像 tensorflow 数据集那样预取数据吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52176792/