我构建了一个简单的生成器,它生成一个 tuple(inputs, targets)
,其中 inputs
和 targets
列表中只有单个项目。基本上,它是爬取数据集,一次一个样本项。
我将这个生成器传递给:
model.fit_generator(my_generator(),
nb_epoch=10,
samples_per_epoch=1,
max_q_size=1 # defaults to 10
)
我明白了:
nb_epoch
是训练批处理将运行的次数samples_per_epoch
是每个 epoch 训练的样本数
但是 max_q_size
的用途是什么,为什么它会默认为 10?我认为使用生成器的目的是将数据集批处理成合理的 block ,那么为什么要添加额外的队列呢?
最佳答案
这只是定义了用于“预缓存”来自生成器的样本的内部训练队列的最大大小。它在队列的生成过程中使用
def generator_queue(generator, max_q_size=10,
wait_time=0.05, nb_worker=1):
'''Builds a threading queue out of a data generator.
Used in `fit_generator`, `evaluate_generator`, `predict_generator`.
'''
q = queue.Queue()
_stop = threading.Event()
def data_generator_task():
while not _stop.is_set():
try:
if q.qsize() < max_q_size:
try:
generator_output = next(generator)
except ValueError:
continue
q.put(generator_output)
else:
time.sleep(wait_time)
except Exception:
_stop.set()
raise
generator_threads = [threading.Thread(target=data_generator_task)
for _ in range(nb_worker)]
for thread in generator_threads:
thread.daemon = True
thread.start()
return q, _stop
换句话说,您有一个线程直接从您的生成器填充队列,达到给定的最大容量,而(例如)训练例程消耗它的元素(有时等待完成)
while samples_seen < samples_per_epoch:
generator_output = None
while not _stop.is_set():
if not data_gen_queue.empty():
generator_output = data_gen_queue.get()
break
else:
time.sleep(wait_time)
为什么默认为 10?没有特别的原因,就像大多数默认值一样 - 这很有意义,但您也可以使用不同的值。
这样的构造表明,作者考虑了昂贵的数据生成器,这可能需要时间来执行。例如,考虑在生成器调用中通过网络下载数据——那么为了提高效率和对网络错误等具有鲁棒性,预缓存一些下一批并并行下载下一批是有意义的。
关于python - "max_q_size"中使用的参数 "model.fit_generator"是什么?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36986815/