matlab - OpenCV 2.3 相机标定

Question

我正在尝试使用 OpenCV 2.3 python 绑定(bind)来校准相机。我在 matlab 中使用了下面的数据并且校准有效，但我似乎无法让它在 OpenCV 中工作。我设置为初始猜测的相机矩阵非常接近从 matlab 工具箱计算出的答案。

import cv2
import numpy as np

obj_points = [[-9.7,3.0,4.5],[-11.1,0.5,3.1],[-8.5,0.9,2.4],[-5.8,4.4,2.7],[-4.8,1.5,0.2],[-6.7,-1.6,-0.4],[-8.7,-3.3,-0.6],[-4.3,-1.2,-2.4],[-12.4,-2.3,0.9],    [-14.1,-3.8,-0.6],[-18.9,2.9,2.9],[-14.6,2.3,4.6],[-16.0,0.8,3.0],[-18.9,-0.1,0.3],    [-16.3,-1.7,0.5],[-18.6,-2.7,-2.2]]
img_points = [[993.0,623.0],[942.0,705.0],[1023.0,720.0],[1116.0,645.0],[1136.0,764.0],[1071.0,847.0],[1003.0,885.0],[1142.0,887.0],[886.0,816.0],[827.0,883.0],[710.0,636.0],[837.0,621.0],[789.0,688.0],[699.0,759.0],[768.0,800.0],[697.0,873.0]]

obj_points = np.array(obj_points)
img_points = np.array(img_points)

w = 1680
h = 1050
size = (w,h)

camera_matrix = np.zeros((3, 3))
camera_matrix[0,0]= 2200.0
camera_matrix[1,1]= 2200.0
camera_matrix[2,2]=1.0
camera_matrix[2,0]=750.0
camera_matrix[2,1]=750.0 

dist_coefs = np.zeros(4)
results = cv2.calibrateCamera(obj_points, img_points,size, 
    camera_matrix, dist_coefs)

Answer 1

首先，你的相机矩阵是错误的。如果您阅读 documentation ，它应该看起来像:

fx  0 cx
 0 fy cy
 0  0  1

如果你看看你的，你就错了:

fx  0  0
 0 fy  0
cx cy  1

因此，首先，将 camera_matrix 设置为 camera_matrix.T(或更改构造 camera_matrix 的方式。记住 camera_matrix[i, j] 是行 i, 列 j).

camera_matrix = camera_matrix.T

接下来，我运行了你的代码，我看到“似乎无法让它工作”意味着以下错误(顺便说一下 - 总是说出你所说的“似乎无法让它工作”的意思在您的问题中 - 如果这是一个错误，请发布错误。如果它运行但给您奇怪的数字，请这样说):

OpenCV Error: Assertion failed (ni >= 0) in collectCalibrationData, file /home/cha66i/Downloads/OpenCV-2.3.1/modules/calib3d/src/calibration.cpp, line 3161
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
cv2.error: /home/cha66i/Downloads/OpenCV-2.3.1/modules/calib3d/src/calibration.cpp:3161: error: (-215) ni >= 0 in function collectCalibrationData

然后我阅读了 documentation (顺便说一下非常有用)并注意到 obj_points 和 img_points 必须是vectors of vectors，因为可以输入一组同一棋盘的多个图像的对象/图像点(/校准点)。

因此:

cv2.calibrateCamera([obj_points], [img_points],size, camera_matrix, dist_coefs)

什么？我仍然得到同样的错误？!

然后，我查看了 OpenCV python2 示例(在文件夹 OpenCV-2.x.x/samples/python2 中)，并注意到 calibration.py 显示我如何使用校准功能(永远不要低估样本，它们通常比文档更好!)。

我尝试运行 calibration.py 但它没有运行，因为它没有提供 camera_matrix 和 distCoeffs 参数，这是必要的。所以我修改了它以输入虚拟 camera_matrix 和 distCoeffs，嘿，它有效!

我能看到我的 obj_points/img_points 和他们的唯一区别是，他们的有 dtype=float32，而我的没有

因此，我将 obj_points 和 img_points 更改为也有 dtype float32(OpenCV 的 python2 接口(interface)很有趣；通常函数在矩阵不工作时不起作用没有 dtype):

obj_points = obj_points.astype('float32')
img_points = img_points.astype('float32')

然后我再试一次:

>>> cv2.calibrateCamera([obj_points], [img_points],size, camera_matrix, dist_coefs)
OpenCV Error: Bad argument 
(For non-planar calibration rigs the initial intrinsic matrix must be specified) 
in cvCalibrateCamera2, file ....

什么？!至少是一个不同的错误。但我确实提供了一个初始内在矩阵!

所以我回到文档，注意到 flags 参数:

flags – Different flags that may be zero or a combination of the following values:

CV_CALIB_USE_INTRINSIC_GUESS cameraMatrix contains valid initial values of fx, fy, cx, cy that are optimized further

...

啊哈，所以我必须明确地告诉函数使用我提供的初始猜测:

cv2.calibrateCamera([obj_points], [img_points],size, camera_matrix.T, dist_coefs,
                    flags=cv2.CALIB_USE_INTRINSIC_GUESS)

欢呼!有用!

(故事的寓意 - 仔细阅读 OpenCV 文档，如果您使用的是 Python cv2 界面，请使用最新版本(即在 opencv.itseez.com 上)。此外，请参阅samples/python2 目录中的示例以补充文档。有了这两个东西，您应该能够解决大多数问题。)