python - opencv 特征与空公式模板匹配

Question

我一直在尝试将扫描的公式与其空模板进行匹配。目标是旋转和缩放它以匹配模板。

源(左)，模板(右)

匹配(左)，单应性扭曲(右)
模板不包含任何非常具体的 Logo 、固定十字或矩形框架，这些可以方便地帮助我进行特征或图案匹配。更糟糕的是，扫描的公式可能会被歪曲、更改，并且包含手写签名和印章。

在测试 ORB 特征匹配失败后，我的方法是专注于公式的形状(行和列)。

我在这里提供的图片是通过在具有一定最小尺寸的分段检测(LSD)之后重构线条而获得的。源代码和模板剩下的大部分内容就是文档布局本身。

在下面的脚本(应该与图片一起开箱即用)中，我尝试进行 ORB 特征匹配，但未能使其工作，因为它集中在边缘而不是文档布局上。

import cv2  # using opencv-python v3.4
import numpy as np
from imutils import resize


# alining image using ORB descriptors, then homography warp
def align_images(im1, im2,MAX_MATCHES=5000,GOOD_MATCH_PERCENT = 0.15):

    # Detect ORB features and compute descriptors.
    orb = cv2.ORB_create(MAX_MATCHES)
    keypoints1, descriptors1 = orb.detectAndCompute(im1, None)
    keypoints2, descriptors2 = orb.detectAndCompute(im2, None)

    # Match features.
    matcher = cv2.DescriptorMatcher_create(cv2.DESCRIPTOR_MATCHER_BRUTEFORCE_HAMMING)
    matches = matcher.match(descriptors1, descriptors2, None)

    # Sort matches by score
    matches.sort(key=lambda x: x.distance, reverse=False)

    # Remove not so good matches
    numGoodMatches = int(len(matches) * GOOD_MATCH_PERCENT)
    matches = matches[:numGoodMatches]

    # Draw top matches
    imMatches = cv2.drawMatches(im1, keypoints1, im2, keypoints2, matches, None)

    # Extract location of good matches
    points1 = np.zeros((len(matches), 2), dtype=np.float32)
    points2 = np.zeros((len(matches), 2), dtype=np.float32)

    for i, match in enumerate(matches):
        points1[i, :] = keypoints1[match.queryIdx].pt
        points2[i, :] = keypoints2[match.trainIdx].pt

    # Find homography
    h, mask = cv2.findHomography(points1, points2, cv2.RANSAC)

    # Use homography
    if len(im2.shape) == 2:
        height, width = im2.shape
    else:
        height, width, channels = im2.shape
    im1Reg = cv2.warpPerspective(im1, h, (width, height))

    return im1Reg, h, imMatches

template_fn = './stack/template.jpg'
image_fn = './stack/image.jpg'

im = cv2.imread(image_fn, cv2.IMREAD_GRAYSCALE)
template = cv2.imread(template_fn, cv2.IMREAD_GRAYSCALE)

# aligh images
imReg, h, matches = align_images(template,im)

# display output
cv2.imshow('im',im)
cv2.imshow('template',template)
cv2.imshow('matches',matches)
cv2.imshow('result',imReg)
cv2.waitKey(0)
cv2.destroyAllWindows()

有什么方法可以让模式匹配算法对左侧图像(源)起作用？ (另一个想法是只留下线条交叉点)

或者，我一直在尝试对循环进行缩放和旋转不变模式匹配，同时保持最大相关性，但它太消耗资源而且不太可靠。

因此，我正在使用 opencv 寻找正确方向的提示。

Answer 1

解决方案

问题在于将图像简化为真正重要的内容:布局。
此外，ORB 也不合适，因为它不像 SIFT 和 AKAZE 那样稳健(旋转和尺寸不变)。

我按照以下步骤进行:

• 将图像转换为黑白
• 使用线段检测并过滤宽度小于 1/60 的线条
• 从片段重建图像(线宽没有太大影响)
• (可选:调整图片大小以加快其余速度)
• 对线重建应用高斯变换，宽度的 1/25
• 使用 SIFT(专利)或 AKAZE(免费)算法检测和匹配特征
• 找到单应性并扭曲源图片以匹配模板

AKAZE 的比赛

SIFT 匹配

我注意到:

• 模板的布局必须匹配，否则它只会坚持它识别的内容
• 分辨率越高，线检测效果越好，然后由于应用了高斯分布，因此可以缩小尺寸
• SIFT 产生更多特征，并且似乎比 AKAZE 更可靠