OpenCV 的 reprojectImageTo3D() 输出一个“表示 3D 表面的 3 channel 图像”。 您可以通过以下方式访问此数据
Vec3f coordinates = _3dImage.at<Vec3f>(y,x);
float depth = _3dImage.at<Vec3f>(y,x)[2];
witch 返回一个 vector [X,Y,Z]。
在 Gary Bradski 和 Adrian Kaehler 的“Learning OpenCV”中,解释了深度的计算方式
Z = f T/(x_left - x_right)
其中 f = 焦距,T = 眼底/相机之间的平移,(x_left - x_right) = 视差
这个确切的公式是在 OpenCV 中实现的(我检查了源代码 - 但是出于某种原因还有一个额外的负号)。问题是:指定的 X、Y、Z 值使用哪个单位?
T 以您的单位(例如毫米)为单位,x_l - x_r 以像素为单位,[ f ] = ?
当您校准相机时,您需要以现实世界的单位(例如毫米)指定棋盘的大小。因此,内在矩阵是否具有真实世界的单位?还是以px为单位指定?很遗憾,我无法在文档中找到答案。
最佳答案
执行深度重建的基本方程是:
Z = fB/d
,其中
f
是焦距(以像素为单位),您将其称为眼底/相机之间的平移B
是立体基线(以米为单位)d
是视差(以像素为单位),衡量相应点之间视网膜位置的差异Z
是沿相机 Z 轴的距离
图像点的 3D 位置 (X,Y,Z)
(例如 (u,v)
以像素为单位)可以以米、厘米、毫米为单位给出或者您选择的任何内容,因为 3D 坐标 (X,Y,Z)
的单位与棋盘的正方形大小相同。例如,如果您将正方形大小定义为 1 厘米,则 3D 坐标也将以厘米为单位。
即:
Size boardSize(4, 5); // 4x5 chessboard
float squareSize = 0.025F; // 0.025 meters
for( int i = 0; i < boardSize.height; i++ )
for( int j = 0; j < boardSize.width; j++ )
corners.push_back(Point3f(float(j*squareSize), float(i*squareSize), 0.0F));
附:
Z
确定后,X
和 Y
可以使用通常的投影相机方程计算:
X = uZ/f
Y = vZ/f
关于c++ - opencv 的 reprojectImageTo3D() 中的深度图值,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31802169/