matlab - 使用归一化互相关匹配对象外形

Question

我正在使用 Matlab 中的 normxcorr2 函数进行模板匹配。但是，我想做的与 normxcorr2 做的不同。内置的 normxcorr2 计算互相关，同时考虑到矩形模板中的所有像素。但我只希望某些像素参与归一化互相关过程。

例如，我只想将下图中的环状白色区域用作关联时的模板。 (里面的黑色区域不要用于计算)

因此，如果我将上面的模板与下图相关联，我可能会得到大约 1.0 的归一化值(考虑到两个图像中的外圆直径相同)

我已经检查了这个解决方案:- matlab template matching only for 0 (or 1) in matrix但它不是通用的。

任何人都可以帮助我在 matlab 中提供更通用的解决方案吗？这可用于通过外部形状跟踪对象

编辑:- 对于那些想要查看它的人来说，这是完整的图像。我只想通过外部圆形边缘而不是内部细节来检测球。

Answer 1

这是我在此处提供答案的前一篇文章的派生词:matlab template matching only for 0 (or 1) in matrix

但是，此解决方案使用效率非常低的 for 循环。因此，我们可以使用 im2col、bsxfun 和 col2im 来帮助我们更快地执行此操作。 im2col 获取图像中的重叠区域，并将它们分别放入单独的列中。本质上，这就像使用任何类型的空间图像过滤一样采用图像的滑动窗口，并收集滑动窗口内的所有像素并将每个窗口放置为单独的列。

假设您的模板大小为M x N，您要搜索的图片大小为R x C，假设您的图片模板名为imTemplate，而你要搜索的图片是imSearch，我们可以进行如下设置。我们还假设两个图像都是二进制的。

[M, N] = size(imTemplate);
[R, C] = size(imSearch);

%// Cast to double for precision
imTemplate = im2double(imTemplate);
imSearch = im2double(imSearch);

neigh = im2col(imSearch, [M, N]);
templateCol = imTemplate(:); %// Ensures we place template into single column

现在，您希望排除所有在 圆形边界内的像素。因此，我们可以做的是反转图像，使黑色像素变为白色，然后移除边框周围的所有像素。这应该会给我们圆的内部。

imInvert = ~imTemplate;
imInvertNoBorder = imclearborder(imInvert, 8); %// Search 8-pixel neighbourhood

我们将使用它来确定我们要从搜索中删除哪些像素。这可以通过以下方式完成:

rowsToRemove = imInvertNoBorder(:) == 1;

现在，我们可以做的是最终删除那些在圆圈内部的像素，以便在我们的相关方案中不被搜索。

neigh(rowsToRemove,:) = [];

我们现在可以做的是计算所有这些列的 NCC。如果您还记得，两个信号之间的 NCC 如下:

_{(来源:www.jot.fm)}

因此，我们需要从每个邻域中减去均值，我们还需要从每个列中减去均值。然后我们计算如上所示的公式。我们可以像这样在 MATLAB 中轻松实现这种矢量化:

neighMeanSubtract = bsxfun(@minus, neigh, mean(neigh));
templateMeanSubtract = templateCol - mean(templateCol);

我们可以计算每个邻域的 NCC 分子(在求和之前)，如下所示:

numerator = bsxfun(@times, neighMeanSubtract, templateMeanSubtract);

现在，我们所要做的就是对所有列求和，这将得到我们最终的分子:

sumNumerator = sum(numerator);

分母可以这样计算:

denominator1 = sqrt(sum(neighMeanSubtract.*neighMeanSubtract));
denominator2 = sqrt(sum(templateMeanSubtract.*templateMeanSubtract));
sumDenominator = denominator1 .* denominator2;

最后，我们的 NCC 可以这样计算:

NCC = sumNumerator ./ sumDenominator;

您会注意到这是一行值。每行对应于在邻域定义的输出。因此，我们还需要将其重新整形为矩阵，因此您可以使用 col2im:

finalOutput = col2im(NCC, [M, N], [R, C]);

上述语句将采用 NCC 中定义的 M x N 的重叠邻域，并对其进行整形，使其成为 R x C 矩阵。有时，您会遇到被零除错误，尤其是当邻域搜索窗口全部均匀时。因此，您将获得 NaN 数字。假设没有变化的区域在图像处理中没有相关性，因此让我们将这些位置归零:

finalOutput(isnan(finalOutput)) = 0;

如果您想找到相关性最高的位置，只需执行以下操作:

[rowNCC, colNCC] = find(finalOutput == max(finalOutput(:)));

如果你想解释负相关，那完全取决于你的应用。如果您想确保您的模板匹配算法是旋转不变，那么您实际上应该检查绝对值 的最大值。负相关只是意味着模板和邻域之间的匹配只是旋转。因此，找到最佳邻域的更好方法是:

maxCoeff = max(abs(finalOutput(:)));
[rowNCC, colNCC] = find(abs(finalOutput) == maxCoeff);

为了您的复制和粘贴乐趣，这里是完整的代码:

function [rowNCC, colNCC] = testCorr(imTemplate, imSearch)
    [M, N] = size(imTemplate);
    [R, C] = size(imSearch);

    %// Cast to double for precision
    imTemplate = im2double(imTemplate);
    imSearch = im2double(imSearch);

    neigh = im2col(imSearch, [M, N]);
    templateCol = imTemplate(:); %// Ensures we place template into single column

    imInvert = ~imTemplate;
    imInvertNoBorder = imclearborder(imInvert, 8); %// Search 8-pixel neighbourhood
    rowsToRemove = imInvertNoBorder(:) == 1;
    neigh(rowsToRemove,:) = [];

    neighMeanSubtract = bsxfun(@minus, neigh, mean(neigh));
    templateMeanSubtract = templateCol - mean(templateCol);

    numerator = bsxfun(@times, neighMeanSubtract, templateMeanSubtract);
    sumNumerator = sum(numerator);

    denominator1 = sqrt(sum(neighMeanSubtract.*neighMeanSubtract));
    denominator2 = sqrt(sum(templateMeanSubtract.*templateMeanSubtract));
    sumDenominator = denominator1 .* denominator2;

    NCC = sumNumerator ./ sumDenominator;    

    finalOutput = col2im(NCC, [M, N], [R, C]);
    finalOutput(isnan(finalOutput)) = 0;

    maxCoeff = max(abs(finalOutput(:)));
    [rowNCC, colNCC] = find(abs(finalOutput) == maxCoeff);
end

祝你好运!