opencv - OpenCV图像拼接在右边界之后留下空白区域

Question

我曾经尝试过使用OpenCV 3.0进行拼接；结果很好，但在右边也给了我一个黑色的空白区域。

for (int i = 0; i < best_matches.size(); i++)
{
    //-- Get the keypoints from the good matches  
    FirstImageMatchPT.push_back(keypoints1[best_matches[i].queryIdx].pt);
    SecondImageMatchPT.push_back(keypoints2[best_matches[i].trainIdx].pt);
}

vector<unsigned char> match_mask;
Mat MatchedImage = findHomography(SecondImageMatchPT, FirstImageMatchPT, CV_RANSAC);


cv::Mat result;
result = img_Right.clone();
warpPerspective(img_Right, result, MatchedImage, cv::Size(img_Left.cols + img_Right.cols, img_Left.rows));

cv::Mat half(result, cv::Rect(0, 0, img_Left.cols, img_Left.rows));
img_Left.copyTo(half);

“findHomography”的第一个变量是第二个的匹配点(我的意思是右图)，第二个变量是第一个的匹配点(左图)。

我确实交换了变量的原因是，如果我运行下面的代码，它会裁剪左侧图像，并显示仅匹配左侧图像和右侧图像的区域。 (甚至有更大的空白区域)

for (int i = 0; i < best_matches.size(); i++)
{
    //-- Get the keypoints from the good matches  
    FirstImageMatchPT.push_back(keypoints1[best_matches[i].queryIdx].pt);
    SecondImageMatchPT.push_back(keypoints2[best_matches[i].trainIdx].pt);
}

vector<unsigned char> match_mask;
Mat MatchedImage = findHomography(FirstImageMatchPT, SecondImageMatchPT, CV_RANSAC);


cv::Mat result;
result = img_Left.clone();
warpPerspective(img_Left, result, MatchedImage, cv::Size(img_Left.cols + img_Right.cols, img_Left.rows));


cv::Mat half(result, cv::Rect(0, 0, img_Right.cols, img_Right.rows));
img_Right.copyTo(half);

您能告诉我如何为此制定正确的投资返回率吗？我如何自动切出空白区域？

Answer 1

您会在最终图像中得到黑色区域，因为result矩阵本质上是一个大于拼接结果可以填充的 Canvas 。您可以通过将 Canvas 定义为与变形图像可以填充的尺寸完全相同的 Canvas 来解决此问题。

单应矩阵定义平面投影变换。使用此矩阵，您可以将一个平面(在您的情况下为右图)投影到另一平面(左图)上。现在，您可以使用同一矩阵来预测在应用此平面投影变换后，右侧图像的四个角将投影到的位置。

您正在计算此行中两个图像之间的单应性。
Mat MatchedImage = findHomography(SecondImageMatchPT, FirstImageMatchPT, CV_RANSAC);
您可以使用存储在MatchedImage中的相同单应性矩阵(3x3)来估计第二张图像的四个角将投影到w.r.t的位置。第一张图片。右图的四个坐标如下。
topLeft = {0.0, 0.0}, topRight = {W, 0.0}, bottomLeft = {0.0, H}, bottomRight = {W, H}
在齐次坐标中，这些将是
topLeftH = {0.0, 0.0, 1.0}, topRightH = {W, 0.0, 1.0}, bottomLeftH = {0.0, H, 1.0}, bottomRightH = {W, H, 1.0}
您可以按以下方式计算这些角的投影坐标，
projTopLeft = HomographyMatrix . topLeftH projTopRight = HomographyMatrix . topRightH ...
可以使用以下OpenCV函数完成此操作，

std::vector<Point2f> imageCorners(4);
imageCorners[0] = cvPoint(0,0); 
imageCorners[1] = cvPoint( img_right.cols, 0 );
imageCorners[2] = cvPoint( img_right.cols, img_right.rows );   
imageCorners[3] = cvPoint( 0, img_right.rows );
std::vector<Point2f> projectedCorners(4);

perspectiveTransform( imageCorners, projectedCorners, H);

找到投影的角后，您可以使用新的坐标来计算最终 Canvas 的大小。

在您的代码中，这些行应更改，

cv::Mat result;
result = img_Right.clone();

至

cv::Mat result(cv::Size(COMPUTED_SIZE_AS_ABOVE), img_Right.type());