opencv - 图像对齐方式warpPerspective或warpAffine

Question

我在3D场景中有一个对象的两个图像I1和I2。图像之间的区别在于对象已移动。摄像机的位置和校准是已知的，对象上的几个3D特征点以及移动它的3D变换也是已知的。我也有那些特征点的投影。

我想对齐图像。所以看来我有两种选择:

我可以仅查看2D特征点并派生仿射变换来进行对齐。凭直觉，这似乎会出错，因为它不能解决透 View 失真。

我可以找到单应性变换并使用warpPerspective进行变换。我是单应变换的新手，但听起来这将考虑透视变形。实际上，通过我的设置，我相信单应性矩阵很简单:反转投影矩阵，反转3D变换，然后重新投影。这将得出x'= Hx。看来它将给我确切的图像对齐方式。

那么第一个问题:warpPerspective是否会比warpAffine给出更好的对齐结果？

第二个问题:并非所有特征点都位于同一平面上。我还能使用warpPerspective吗？我想我为单应变换阅读时，这些点必须在同一平面上。

第三个问题:由于单应变换是3x3，这意味着我需要知道图像中每个像素的z坐标才能进行变换？

谢谢。

Answer 1

仿射变换是图像平面2D变换。它不考虑平面外转换。

单应性为平面的透视变换建模。因此可以例如用于向后倾斜的飞机。

如果您的对象是平面的，但可以进行平面外旋转，则您需要使用单应性对其进行建模。

如果您的模式不是平面模式，则单应性不是真正的模型。话虽如此，通常这是一个足够的近似值。平面外的点将被错误地扭曲。