python - opencv中与flann的特征匹配

Question

我正在从事一个图像搜索项目，我已经使用自己的算法为其定义/提取了关键点特征。最初我只提取了一个特征并尝试使用 cv2.FlannBasedMatcher() 进行匹配并且它工作正常我已经实现如下:

Here vec is 2-d list of float values of shape (10, )
Ex:
[[0.80000000000000004, 0.69999999999999996, 0.59999999999999998, 0.44444444444444448, 0.25, 0.0, 0.5, 2.0, 0, 2.9999999999999996]

[2.25, 2.666666666666667, 3.4999999999999996, 0, 2.5, 1.0, 0.5, 0.37499999999999994, 0.20000000000000001, 0.10000000000000001]

[2.25, 2.666666666666667, 3.4999999999999996, 0, 2.5, 1.0, 0.5, 0.37499999999999994, 0.20000000000000001, 0.10000000000000001]

[2.25, 2.666666666666667, 3.4999999999999996, 0, 2.5, 1.0, 0.5, 0.37499999999999994, 0.20000000000000001, 0.10000000000000001]]

vec1 = extractFeature(img1)
vec2 = extractFeature(img2)

q1 = np.asarray(vec1, dtype=np.float32)
q2 = np.asarray(vec2, dtype=np.float32)

FLANN_INDEX_KDTREE = 0
index_params = dict(algorithm = FLANN_INDEX_KDTREE, trees = 5)
search_params = dict(checks=50)   # or pass empty dictionary
flann = cv2.FlannBasedMatcher(index_params,search_params)
matches = flann.knnMatch(q1,q2,k=2)

但现在我对每个关键点还有一个特征描述符以及前一个特征描述符，但长度不同。 所以现在我的特征描述符的形状是这样的:

[[[0.80000000000000004, 0.69999999999999996, 0.59999999999999998, 0.44444444444444448, 0.25, 0.0, 0.5, 2.0, 0, 2.9999999999999996],[2.06471330e-01,   1.59191645e-02,   9.17678759e-05, 1.32570314e-05,   4.58424252e-10,   1.66717250e-06,6.04810165e-11]

[[2.25, 2.666666666666667, 3.4999999999999996, 0, 2.5, 1.0, 0.5, 0.37499999999999994, 0.20000000000000001, 0.10000000000000001],[ 2.06471330e-01,   1.59191645e-02,   9.17678759e-05, 1.32570314e-05,   4.58424252e-10,   1.66717250e-06, 6.04810165e-11],

[[2.25, 2.666666666666667, 3.4999999999999996, 0, 2.5, 1.0, 0.5, 0.37499999999999994, 0.20000000000000001, 0.10000000000000001],[ 2.06471330e-01,   1.59191645e-02,   9.17678759e-05, 1.32570314e-05,   4.58424252e-10,   1.66717250e-06, 6.04810165e-11],

[[2.25, 2.666666666666667, 3.4999999999999996, 0, 2.5, 1.0, 0.5, 0.37499999999999994, 0.20000000000000001, 0.10000000000000001],[ 2.06471330e-01,   1.59191645e-02,   9.17678759e-05, 1.32570314e-05,  4.58424252e-10,   1.66717250e-06, 6.04810165e-11]]

现在因为每个点的特征描述符是一个列表，两个列表(描述符)具有不同的长度，即 (10, 7, ) 所以在这种情况下我得到错误:

setting an array element with a sequence.

同时将特征描述符转换为 float 数据类型的 numpy 数组:

q1 = np.asarray(vec1, dtype=np.float32)

我知道这个错误的原因是列表的长度不同，所以我想知道实现相同的正确方法是什么？

Answer 1

您应该定义一个大小为 10+7=17 的描述符。

这样，空间描述符现在为 17，您应该可以使用 cv2.FlannBasedMatcher。

要么创建一个正确大小的全局描述符 desc_glob = np.zeros((nb_pts,17)) 并手动填充它，要么找到一种 Python 方法来完成它。也许 np.reshape((nb_pts,17))？

编辑:

为了不偏爱一种描述符类型，您需要对描述符进行加权或归一化。这与从两个描述符计算全局描述符距离的原理相同:

dist(desc1, desc2) = dist(desc1a, desc2a) + lambda * dist(desc1b, desc2b)