抱歉打扰了:
我对 keras 函数感到困惑:fit_generator
我使用自定义生成器生成 (image,seg_image) 用于训练
仔细看可以看到get_seg()
函数的内部
我把 print(path)
安路径就是
图片读取路径
从数据来看,还有一个意图是我想知道如何
fit_generator()
从生成器获取数据
#import all the stuff
def get_seg(#parameters ):
print(path) #to track when this function is called
return seg_image #for training
#pre-processing image
def getimage(#parameters):
#do something to image
return the imgage #for training
def data_generator():
#load all the data for training
zipped =cycle(zip(images,segmentations))
while True:
X = []
Y = []
for _ in range(batch_size) :
im , seg = next(zipped)
X.append(getimage(#parameters))
Y.append(get_seg(#parameters))
yield np.array(X) , np.array(Y)
#create an generator
G = data_generator(#parameters)
#start training
for ep in range( epochs ):
m.fit_generator( G , steps_per_epoch=512,
epochs=1,workers=1)
当我开始训练时,我得到了真正出乎意料的结果,因为它是
通过训练:终端看起来像: 它打印出24组路径
它从自定义 data_generator
获取数据的拳头
data/train/0000_mask.png
data/train/0001_mask.png
data/train/0002_mask.png
data/train/0003_mask.png
data/train/0004_mask.png
data/train/0005_mask.png
data/train/0006_mask.png
data/train/0007_mask.png
data/train/0008_mask.png
data/train/0009_mask.png
data/train/0010_mask.png
data/train/0011_mask.png
data/train/0012_mask.png
data/train/0013_mask.png
data/train/0014_mask.png
data/train/0015_mask.png
data/train/0016_mask.png
data/train/0017_mask.png
data/train/0018_mask.png
data/train/0019_mask.png
data/train/0020_mask.png
data/train/0021_mask.png
data/train/0022_mask.png
data/train/0023_mask.png
然后: 我相信培训从这里开始。
1/512 [..............................] - ETA: 2:14:34 - loss: 2.5879 - acc: 0.1697
再次加载数据(图片)
data/train/0024_mask.png
data/train/0025_mask.png
经过512(steps_per_epoch)表示下一轮训练
开始,它会在训练前打印接下来的 24 条路径....
我想知道为什么会这样? keras是这样吗
有效吗?在实际传递之前加载数据是通过网络吗?
或者我误解或遗漏了一些基本知识?
最佳答案
是的,这就是 Keras 的工作方式。
训练和加载是两个平行的 Action 。一个人看不到另一个人的情况。
在fit_generator
方法中有一个max_queue_size
参数,默认情况下通常等于10。这意味着生成器将全速加载数据,直到队列已满。所以你要提前加载很多图像(这有助于避免模型因加载而变慢)
训练只是检查:队列中是否有元素?很好,训练。
因为您在循环内调用了 get_seg
但仅在该循环外调用了 yield
,所以您打印的比批处理多。
关于python - 为什么 Keras fit_generator() 在实际 "training"之前加载,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53779968/