C++ OpenCV : tracking moving people on the street

Question

我正在尝试使用 C++ 中的 OpenCV 对移动的人员进行跟踪，用一个摄像头看着街道，然后人们在街道上移动。对于我拍摄并正在使用的示例视频，请参见此处:http://akos.maroy.hu/~akos/eszesp/MVI_0778.MOV

我仔细阅读了这个主题，并尝试了很多方法，包括:

• 背景检测和创建轮廓
• 尝试检测 Blob ( Blob 的关键点)
• 使用 HOGDescriptor 对每个帧使用人员检测器

但是这些都没有提供好的结果。对于我的示例代码，请参见下文。有关基于上述视频的代码输出，请参阅:http://akos.maroy.hu/~akos/eszesp/ize.avi .背景检测到的轮廓为红色，轮廓的边界矩形为绿色，HOG 人体检测结果为蓝色。

我遇到的具体问题是:

背景检测然后找到轮廓似乎工作正常，尽管存在一些误报。但主要缺点是很多时候一个人被“切割”成多个轮廓。有没有一种简单的方法可以将它们“连接”在一起，也许是通过假定的“理想”人的大小或其他方式？

至于 HOG 人物检测器，在我的例子中，它很少能识别出图像上的真人。我在那里做错了什么？

欢迎所有指点和想法!

因此，我目前使用的代码是我在这里和那里找到的各种示例的复制粘贴:

#include<opencv2/opencv.hpp>
#include<iostream>
#include<vector>

int main(int argc, char *argv[])
{
    if (argc < 3) {
        std::cerr << "Usage: " << argv[0] << " in.file out.file" << std::endl;
        return -1;
    }

    cv::Mat frame;
    cv::Mat back;
    cv::Mat fore;
    std::cerr << "opening " << argv[1] << std::endl;
    cv::VideoCapture cap(argv[1]);
    cv::BackgroundSubtractorMOG2 bg;
    //bg.nmixtures = 3;
    //bg.bShadowDetection = false;

    cv::VideoWriter output;
    //int ex = static_cast<int>(cap.get(CV_CAP_PROP_FOURCC));
    int ex = CV_FOURCC('P','I','M','1');
    cv::Size size = cv::Size((int) cap.get(CV_CAP_PROP_FRAME_WIDTH),
                             (int) cap.get(CV_CAP_PROP_FRAME_HEIGHT));
    std::cerr << "saving to " << argv[2] << std::endl;
    output.open(argv[2], ex, cap.get(CV_CAP_PROP_FPS), size, true);

    std::vector<std::vector<cv::Point> > contours;

    cv::namedWindow("Frame");
    cv::namedWindow("Fore");
    cv::namedWindow("Background");


    cv::SimpleBlobDetector::Params params;
    params.minThreshold = 40;
    params.maxThreshold = 60;
    params.thresholdStep = 5;
    params.minArea = 100; 
    params.minConvexity = 0.3;
    params.minInertiaRatio = 0.01;
    params.maxArea = 8000;
    params.maxConvexity = 10;
    params.filterByColor = false;
    params.filterByCircularity = false;


    cv::SimpleBlobDetector blobDtor(params);
    blobDtor.create("SimpleBlob");

    std::vector<std::vector<cv::Point> >    blobContours;
    std::vector<cv::KeyPoint>               keyPoints;
    cv::Mat                                 out;

    cv::HOGDescriptor hog;
    hog.setSVMDetector(cv::HOGDescriptor::getDefaultPeopleDetector());


    for(;;)
    {
        cap >> frame;

        bg.operator ()(frame, fore);

        bg.getBackgroundImage(back);
        cv::erode(fore, fore, cv::Mat());
        cv::dilate(fore, fore, cv::Mat());

        blobDtor.detect(fore, keyPoints, cv::Mat());

        //cv::imshow("Fore", fore);

        cv::findContours(fore, contours, CV_RETR_EXTERNAL, CV_CHAIN_APPROX_NONE);
        cv::drawContours(frame, contours, -1, cv::Scalar(0,0,255), 2);

        std::vector<std::vector<cv::Point> >::const_iterator it = contours.begin();
        std::vector<std::vector<cv::Point> >::const_iterator end = contours.end();
        while (it != end) {
            cv::Rect bounds = cv::boundingRect(*it);
            cv::rectangle(frame, bounds, cv::Scalar(0,255,0), 2);

            ++it;
        }

        cv::drawKeypoints(fore, keyPoints, out, CV_RGB(0,255,0), cv::DrawMatchesFlags::DEFAULT);
        cv::imshow("Fore", out);


        std::vector<cv::Rect> found, found_filtered;
        hog.detectMultiScale(frame, found, 0, cv::Size(8,8), cv::Size(32,32), 1.05, 2);
        for (int i = 0; i < found.size(); ++i) {
            cv::Rect r = found[i];
            int j = 0;
            for (; j < found.size(); ++j) {
                if (j != i && (r & found[j]) == r) {
                    break;
                }
            }
            if (j == found.size()) {
                found_filtered.push_back(r);
            }
        }

        for (int i = 0; i < found_filtered.size(); ++i) {
            cv::Rect r = found_filtered[i];
            cv::rectangle(frame, r.tl(), r.br(), cv::Scalar(255,0,0), 3);
        }


        output << frame;

        cv::resize(frame, frame, cv::Size(1280, 720));
        cv::imshow("Frame", frame);

        cv::resize(back, back, cv::Size(1280, 720));
        cv::imshow("Background", back);



        if(cv::waitKey(30) >= 0) break;
    }
    return 0;
}

Answer 1

其实，这是一个很广泛的话题。有很多科学论文试图解决这个问题。您应该先阅读一些内容。

简要说明: 背景检测和轮廓是最简单的技术。 OpenCV 有非常好的实现，也针对 gpu 进行了优化。为了细化前景/背景 Blob ，您可以使用一些 morphological operation,尝试关闭 Blob 中的孔并获得更好的结果。但不要期望完美的结果。背景减法是一项困难的操作，您可以花费数小时为给定数据集微调参数，然后在现实世界中尝试您的代码，但……没有任何效果。灯光、阴影、背景随不感兴趣的物体发生变化……仅供提及一些问题。

所以.. 不，没有一种简单和标准的技术来处理所谓的“blob 碎片”或“拆分合并”问题(有时一个人被分成更多的 blob，有时更多的人被合并到一个单一的 Blob )。同样，它充满了关于这个论点的科学论文。但是有一些技术可以处理不完整或杂乱观察的跟踪。最简单的方法之一是在卡尔曼滤波器给出一些不完整的观察的情况下，尝试推断系统的真实状态。 Opencv 对此有很好的实现。同样，如果您搜索“卡尔曼滤波器跟踪”或“GNN 数据关联”，您会找到很多。

如果你想使用一些几何信息，比如估计一个人的高度等，你可以这样做，但你需要相机的校准参数。这意味着让它们可用(标准 iphone 相机的 Microsoft kinect 有它们的可用参数)或通过相机校准过程计算它们。这意味着下载棋盘图像，将其打印在纸上，然后拍摄一些照片。然后，OpenCV 拥有进行校准的所有方法。之后，你需要估计地平面，然后使用一些简单的render project/unproject方法来回从2d坐标到3d坐标，估计一个3d标准人的2d边界框。

“行人跟踪”的现代方法使用一些检测器提取观察结果。背景减法可以给出一张 map ，试图检测到不在孔图像上搜索的位置，但 Blob 检测在这种情况下是无用的。在 OpenCV 中，这种情况下使用较多的实现是 Haar Adaboost 检测器和 HOG 检测器。HOG 检测器在某些情况下似乎可以提供更好的结果。已经在 OpenCV 中实现的分类器包括用于 Haar 的人脸检测器和用于 HOG 的人检测器。您将在 OpenCV 存储库的 cpp 和 python 示例中找到示例。

如果标准检测失败(您的视频尺寸不同，或者您必须检测行人以外的其他物体)..您必须训练自己的检测器。这意味着收集一些你想要检测的对象的图像(正样本)，以及一些带有其他东西的图​​像(负样本)，并使用像 SVN 这样的机器学习技术训练你自己的分类器。再一次，谷歌是你的 friend :)

祝你好运!