python - 减少fasterRCNN数组输出的大小，使用Gluon，python

Question

我正在使用更快的 rcnn 模型来运行一些对象检测。我使用的包装器是胶子，代码如下:

net = model_zoo.get_model('faster_rcnn_resnet50_v1b_coco', pretrained=True)

im_fname = utils.download('https://github.com/dmlc/web-data/blob/master/' +
                      'gluoncv/detection/biking.jpg?raw=true',
                      path='biking.jpg')
x, orig_img = data.transforms.presets.rcnn.load_test(im_fname)

box_ids, scores, bboxes = net(x)

我的问题是，是否可以减小 net(x) 返回的数组的大小，从而有效地加快计算速度？

问题是模型将 box_ids、scores 和 bboxes 生成为具有 80000 个元素的数组 - 只有前 ~10 个有用，其余的得分为 -1。稍后我尝试使用 asnumpy() 将这些数组转换为 numpy 数组，但是，mxnet 使用异步引擎并且此函数必须等待计算结束才能执行。 80000 个元素的计算时间更长(5 秒以上)，因此我试图减小数组大小(SSD 模型输出大约 6000 个元素并且速度更快)。

如果您有其他关于如何使 .asnumpy() 更快的解决方案，也欢迎使用这些解决方案 - 基本上，一张图像需要 5 秒，这似乎不合理，所以我希望将它减少到 ~0.2s (哪个更合适？)

谢谢!

Answer 1

您可以通过更改非最大抑制参数来减少检测到的对象的最大数量。参见 post_nms和 set_nms。当您减少它时，您将获得更少的对象填充(即 -1s)，但您也可能会错过包含大量对象的图像中的对象。

net.set_nms(nms_thresh=0.5, nms_topk=50)

不过我认为这不会增加整体吞吐量，因为绝大多数计算都是在 NMS 之前执行的。如果需要低延迟和高吞吐量，我建议您查看其他架构。 yolo3_darknet53_coco 3 (608x608) 在 mAP 方面与 FasterRCNN 相差无几，但吞吐量要好得多(~10 倍)。