image-processing - 仅使用预训练的 torchvision 网络的某些层

Question

我尝试仅使用预训练的 torchvision Faster-RCNN 网络中的某些层，该网络初始化为:

model = torchvision.models.detection.fasterrcnn_resnet50_fpn(pretrained=True)
model.eval()

这有效。但是，将 model.modules() 或 model.children() 传递到 nn.Sequential 中会产生错误。即使传递整个模型也会导致错误，例如

model = torch.nn.Sequential(*model.modules())
model.eval()
# x is a [C, H, W] image
y = model(x)

导致

AttributeError: 'dict' object has no attribute 'dim'

和

model = torch.nn.Sequential(*model.children())
model.eval()
# x is a [C, H, W] image
y = model(x)

导致

TypeError: conv2d(): argument 'input' (position 1) must be Tensor, not tuple

这让我很困惑，因为我过去也修改过其他 PyTorch 预训练模型。如何使用 FasterRCNN 预训练模型来创建仅使用某些层的新(预训练)模型，例如除了最后一层之外的所有层？

Answer 1

与其他简单的 CNN 模型不同，将基于 R-CNN 的检测器转换为简单的 nn.Sequential 模型并非易事。如果您查看 R-CNN ( 'generalized_rcnn.py' ) 的功能，您会发现输出特征(由 FCN 主干计算)不仅传递到 RPN 组件，而且与输入图像甚至与目标(训练期间)。

因此，我想如果你想改变更快的 R-CNN 行为方式，你必须使用基类 torchvision.models.detection.FasterRCNN()并为其提供不同的 roi 池化参数。