python - 如何将 Scikit-Learn 的 RandomizedSearchCV 与 Tensorflow 的 ImageDataGenerator 结合使用

Question

我正在尝试使用 ImageDataGenerators 实现 RandomizedSearchCV。

这里是用于训练集的生成器的示例:

train_datagen = ImageDataGenerator(rotation_range=20,
                                        rescale=1./255,
                                        shear_range=0.2,
                                        zoom_range=0.25,
                                        horizontal_flip=True,
                                        width_shift_range=0.2,
                                        height_shift_range=0.2)

train_generator = train_datagen.flow_from_directory(paths["train_path"],
                                                batch_size=train_batch_size,
                                                class_mode='binary',
                                                target_size=(image_shape[0], image_shape[1]))

我对 validation_generator 做了同样的事情，最后模型被拟合为:

model_history = model.fit(train_generator, 
                        epochs=200, 
                        steps_per_epoch=train_steps_per_epoch,
                        validation_data=validation_generator, 
                        validation_steps=valdation_steps_per_epoch,
                        callbacks=[callbacks.EarlyStopping(patience=20)])

我想应用网格搜索(使用 sklearn RandomizedSearchCV)来优化我的模型，因此我使用了 SciKeras:

rnd_search_cv = RandomizedSearchCV(keras_reg, param_distribs, n_iter=10, cv=3)

其中 keras_reg 是封装 sklearn 模型的 KerasClassifier，param_distribs 是包含超参数值的字典。

最后我按如下方式安装了 RandomizedSearchCV 对象:

rnd_search_cv.fit(train_generator, 
                epochs=200, 
                steps_per_epoch=train_steps_per_epoch,
                validation_data=validation_generator, 
                validation_steps=valdation_steps_per_epoch,
                callbacks=[callbacks.EarlyStopping(patience=20)])

我有以下错误:

Traceback (most recent call last):
File "/home/docker_user/.local/lib/python3.8/site-packages/sklearn/model_selection/_validation.py", line 684, in _fit_and_score
    estimator.fit(X_train, **fit_params)
TypeError: fit() missing 1 required positional argument: 'y'

您知道如何集成 RandomizedSearchCV 和 ImageDataGenerator 对象吗？

Answer 1

我不推荐以下解决方案和方法。我强烈建议使用 KerasTuner但如果你想输入keras.preprocessing.image.DirectoryIterator就像你的 train_generator 为 RandomizedSearchCV您需要从 DirectoryIterator 中提取 X 和 Y 然后将它们输入到 RandomizedSearchCV 中，如下所示:

import numpy  as np

len_dataset = 100
batch_size = 32
image_size = (150,150)
channel_images = 3
num_clases = 5
x_train = np.empty((len_dataset*batch_size, 
              image_size[0], 
              image_size[1], 
              channel_images))
y_train = np.empty((len_dataset*batch_size, num_clases))

for idx in range(len_dataset):
    x_batch, y_batch = train_generator.__getitem__(idx)
    for i in range(x_batch.shape[0]):
        x_train[idx*batch_size+i] = x_batch[i]
        y_train[idx*batch_size+i] = y_batch[i]

rnd_search_cv.fit(x_train, y_train)