c++ - 捕获和处理视频时出现性能问题

Question

我目前正在开展一个项目，我需要在其中显示经过处理的实时视频捕获。因此，我正在使用与此类似的东西:

cv::VideoCapture cap(0); 
if (!cap.isOpened()) 
    return -1;

cap.set(CV_CAP_PROP_FRAME_WIDTH, 1280);
cap.set(CV_CAP_PROP_FRAME_HEIGHT, 720);

cv::namedWindow("Current Capture");
for (;;)
{
    cv::Mat frame;
    cap >> frame;       
    cv::Mat mirrored;
    cv::flip(frame, mirrored, 1);
    cv::imshow("Current Capture", process_image(mirrored));

    if (cv::waitKey(30) >= 0) break;
}

我遇到的问题是，process_image 在图像中执行圆圈检测，需要一些时间才能完成并导致显示更像是幻灯片而不是视频。

我的问题是:如何在不操作process_image 函数的情况下加快处理速度？

我考虑过在另一个线程中执行图像处理，但我不太确定如何开始。除了这个你还有别的想法吗？

PS.: 我不指望你为我写代码，我只需要一个起点;)

编辑:

好的，如果我无法在捕获时对性能做任何事情，我将需要更改 process_image 函数。

cv::Mat process_image(cv::Mat img)
{
    cv::Mat hsv;
    cv::medianBlur(img, img, 7);
    cv::cvtColor(img, hsv, cv::COLOR_BGR2HSV);

    cv::Mat lower_hue_range; // lower and upper hue range  in case of red color
    cv::Mat upper_hue_range;
    cv::inRange(hsv, cv::Scalar(LOWER_HUE1, 100, 100), cv::Scalar(UPPER_HUE1, 255, 255), lower_hue_range);
    cv::inRange(hsv, cv::Scalar(LOWER_HUE2, 100, 100), cv::Scalar(UPPER_HUE1, 255, 255), upper_hue_range);

    /// Combine the above two images
    cv::Mat hue_image;
    cv::addWeighted(lower_hue_range, 1.0, upper_hue_range, 1.0, 0.0, hue_image);

    /// Reduce the noise so we avoid false circle detection
    cv::GaussianBlur(hue_image, hue_image, cv::Size(13, 13), 2, 2);

    /// store all found circles here
    std::vector<cv::Vec3f> circles;
    cv::HoughCircles(hue_image, circles, CV_HOUGH_GRADIENT, 1, hue_image.rows / 8, 100, 20, 0, 0);

    for (size_t i = 0; i < circles.size(); i++)
    {
        /// circle center
        cv::circle(hsv, cv::Point(circles[i][0], circles[i][1]), 3, cv::Scalar(0, 255, 0), -1, 8, 0);
        /// circle outline
        cv::circle(hsv, cv::Point(circles[i][0], circles[i][1]), circles[i][2], cv::Scalar(0, 0, 255), 3, 8, 0);
    }

    cv::Mat newI;
    cv::cvtColor(hsv, newI, cv::COLOR_HSV2BGR);

    return newI;
}

有什么我可以解决的巨大性能问题吗？

Answer 1

如果您确定 process_image 函数是导致程序瓶颈的原因，但您无法修改它，那么您真的无能为力。如果该功能的执行时间比视频帧的持续时间长，那么您将永远无法获得所需的东西。

如何降低视频捕获的质量或减小大小？目前我可以看到您已将其设置为 1280*720。如果 process_image 函数处理的数据较少，它应该执行得更快。