对于一个业余项目，我正在尝试对齐照片并创建 3D 图片。我基本上在一个钻机上有 2 个相机，我用来拍照。我会自动尝试以您获得 3D SBS 图像的方式对齐图像。
它们是高分辨率图像，这意味着需要处理大量像素。因为我对计算机不是很耐心，所以我希望事情进展得快。
最初我使用基于图像拼接和特征提取的代码。在实践中，我发现这些算法太不准确而且太慢。主要原因是你在这里有不同层次的深度，所以你不能进行一对一的特征匹配。大多数代码已经可以正常工作，包括垂直对齐。
对于这个问题，您可以假设不同的 ISO 曝光级别/颜色校正和图像的垂直对齐都得到了处理。
还缺少的是一个很好的校正图片角度的算法。我注意到左右图片通常在角度上有很小的角度变化(想想 +/- 1.2 度的差异)，这足以让人感到轻微的头痛。作为人类，您可以通过观察颜色的明显差异并将它们排列起来，轻松发现这一点。
具有讽刺意味的是，无论它是否正确，您都会立即将其识别为人类，但不知何故我无法将其学习给机器。 :-)
我试验过边缘检测器、霍夫变换和各种自制算法，但到目前为止发现所有这些算法都太慢且太不准确，无法满足我的目的。我还尝试过在稍微改变角度的同时迭代地垂直对齐，到目前为止没有任何运气。
请注意:此处准确性可能比速度更重要。
我在这里添加了一个示例图片。它实际上是左眼和右眼，alpha 混合。如果仔细观察，您会看到顶部的小羊有两个椭圆，而且您会看到椅子并没有完全排在顶部。这似乎可以忽略不计，但在使用投影仪的全屏分辨率下，您会很容易看出差异。这也显示了所需的准确度；很多。
“x”方向的移动会产生 3D 效果。基本上，如果位移为 0，则它在屏幕上，如果它 <0 则它在屏幕后面，如果它 >0 则它在屏幕前面。这也使匹配变得更加困难，因为您不是在寻找“缝合”。
基本上两个摄像头的“看”方向相同(垂直，如此处的第二张图片所示:http://www.triplespark.net/render/stereo/create.html)。
不同之处在于相机的角度略有不同。这意味着整个图片的旋转是均匀的。
最佳答案
我曾经使用过以下业余方法。
假设第二张图片有旋转+垂直偏移不匹配。这意味着我们需要对第二张图像应用一些变换，它可以用矩阵形式表示为
x' = a*x + b*y + c
y' = d*x + e*y + f
也就是说，坐标为(x,y)的每个像素在第二张图片上，应该移动到一个位置 (x',y')以补偿这种旋转和垂直偏移。
我们有一个严格的要求 a=e , b=-d和 d*d+e*e=1所以它确实是旋转+移位，没有缩放或倾斜等。此外，这种表示法也允许水平移位，但这在角度+垂直移位校正后很容易修复。
现在选择两个图像上的几个共同特征(我是手动选择的，因为 5-10 个似乎就足够了，您可以尝试应用一些自动特征检测机制)。假设 i -th 功能具有坐标 (x1[i], y1[i])在第一张图片和 (x2[i], y2[i]) 上在第二个。我们希望在转换后特征尽可能相等 y -坐标，这就是我们想要的(理想情况下)
y1[i]=y2'[i]=d*x2[i]+e*y2[i]+f
有足够的(>=3)个特征，我们可以确定d , e和 f从这个要求。事实上，如果你有超过 3 个特征，你很可能找不到共同的 d , e和 f为他们，但你可以应用最小二乘法来找到d , e和 f这使得y2'接近y1尽可能。您还可以考虑 d*d+e*e=1 的要求在查找 d 时, e和 f ，但据我所知，即使不考虑这一点，我也得到了可接受的结果。
确定d之后, e和 f , 你有需求 a=e和 b=-d .这只留下 c未知，这是水平移动。如果你知道水平偏移应该是多少，你可以找到c从那里。我使用背景(例如风景上的云)来获得 c .
当您知道所有参数后，您可以对图像进行一次传递并进行校正。您可能还想应用一些抗锯齿，但这是另一个问题。
另请注意，您可以以类似的方式对公式引入二次校正，以解决相机通常具有的额外失真问题。
然而，这只是我前段时间遇到同样问题时想出的一个简单算法。我没有做太多研究，所以我很高兴知道是否有更好或成熟的方法，甚至是现成的软件。
关于image - 准确(且快速)的角度匹配，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/31311975/