tensorflow - 物体检测损失不减少，AP增加

Question

我正在尝试训练一个对象检测模型来检测和分类 10 个类。我的原始数据集非常稀疏且不平衡，总共包含 3k 个标记图像，类之间的分布如下:

第 1 类:21

第 2 类:22

第 3 类:9

第 4 类:192

5 级:2240

第 6 类:319

第 7 类:56

第 8 类:190

第 9 类:44

第 10 类:167

由于这种稀疏性，我对所有图像都进行了增强，即添加噪声、模糊、对比度、亮度和水平翻转。我还通过噪声、对比度和亮度进一步增强了翻转图像。生成的数据集由 37k 个标记图像组成，具有以下分布:

第 1 类:4235

2 类:5365

第 3 类:2385

第 4 类:10755

第 5 类:17185

第 6 类:4035

第 7 类:3150

第 8 类:3820

第 9 类:555

10 级:1500

下图显示了 4 个不同 session 的不同损失。粉色图是来自 37k 图像的增强数据集的结果，其他图来自先前在约 2.5k 图像的原始数据集上运行的结果。正如您从粉红色图表中看到的那样，总损失并没有从其初始值开始减少(之前运行的蓝色和红色图表就是这种情况)。 RPN loss在减少，但是box classifier loss在增加，请问这是什么原因？

我还附上了每个类别的平均精度图像。事实上，大多数类别的精度一直在稳步增加，而损失却没有减少，在我看来，这个模型似乎过度拟合了？通过像我所做的那样增加 10 倍数据集是不是一个坏主意？我还在下面包含了我正在使用的配置文件。任何关于如何改进我的训练结果的建议都将不胜感激!

 model {
  faster_rcnn {
    num_classes: 10
    image_resizer {
     fixed_shape_resizer {
       height: 300
       width: 500 
     }
    }
    feature_extractor {
      type: 'faster_rcnn_inception_resnet_v2'
      first_stage_features_stride: 8
    }
    first_stage_anchor_generator {
      grid_anchor_generator {
        scales: [0.25, 0.5, 0.75, 1.0, 1.5,2,3]
        aspect_ratios: [0.5,1,2,3]
        height: 32
        width: 32
        height_stride: 8
        width_stride: 8
      }
    }
    first_stage_atrous_rate: 1
    first_stage_box_predictor_conv_hyperparams {
      op: CONV
      regularizer {
        l2_regularizer {
          weight: 0.0
        }
      }
      initializer {
        truncated_normal_initializer {
          stddev: 0.01
        }
      }
    }
    first_stage_nms_score_threshold: 0.0
    first_stage_nms_iou_threshold: 0.5
    first_stage_max_proposals: 300
    first_stage_localization_loss_weight: 2.0
    first_stage_objectness_loss_weight: 1.0
    initial_crop_size: 17
    maxpool_kernel_size: 1
    maxpool_stride: 1
    second_stage_box_predictor {
      mask_rcnn_box_predictor {
        use_dropout: True
        dropout_keep_probability: 0.6
        fc_hyperparams {
          op: FC
          regularizer {
            l2_regularizer {
              weight: 0.0
            }
          }
          initializer {
            variance_scaling_initializer {
              factor: 1.0
              uniform: true
              mode: FAN_AVG
            }
          }
        }
      }
    }
    second_stage_post_processing {
      batch_non_max_suppression {
        score_threshold: 0.3
        iou_threshold: 0.5
    #    soft_nms_sigma: 0.5
    #   use_class_agnostic_nms: True
    #    max_classes_per_detection: 1
        max_detections_per_class: 100
        max_total_detections: 100
      }
      score_converter: SOFTMAX
    }
    second_stage_localization_loss_weight: 2.0
    second_stage_classification_loss_weight: 1.0
  }
}
train_config: {
  batch_size: 1
  use_multiclass_scores : False  
  optimizer {
    #momentum_optimizer: {
    adam_optimizer: {
      learning_rate: {
        manual_step_learning_rate {
          initial_learning_rate: 0.0001
          schedule {
            step: 150000
            learning_rate: .00001
          }
          schedule {
            step: 250000
            learning_rate: .000001
          }
        }
      }
      #momentum_optimizer_value: 0.9
    }
    use_moving_average: false
  }
  gradient_clipping_by_norm: 10.0
  from_detection_checkpoint: false

  data_augmentation_options {
    random_horizontal_flip {}
  }

  data_augmentation_options {
    random_crop_image {
      min_object_covered : 1.0
      min_aspect_ratio: 1
      max_aspect_ratio: 1
      min_area: 0.5
      max_area: 1
       random_coef: 0.5
     }
  }
}

Answer 1

不幸的是，对于深度学习，通常很难区分导致问题的确切参数。从您的问题来看，似乎即使进行了数据扩充(这是一件很棒的事情)，每个类别的图像数量差异也很大。

例如，在扩充数据之后，您最终会将这些数据归类到其中包含图像的类中

第 5 类:17185

第 9 类:555

第 5 类有 17,185 张图像，而第 9 类只有 555 张。图像数量存在巨大的不平衡，并且通常更希望每个类的图像数量尽可能接近。

在训练时，您将有一个验证部分，其中来自所有类别的图像池将用于在该实例中测试模型。如果你在一个类别中有一堆图像而不是另一个类别，那么模型将更好地验证较大类别的图像，同时努力验证较小类别的图像，因为模型没有很多示例训练，或者它开始用更大的类(class)进行更重的训练，因为那里有更多的训练示例。