我们正在做一个使用kinect和opencv的项目。我对 3D 分析完全陌生。主要目的是从kinect中获取深度和rgb信息，处理rgb mat(基本过滤和阈值函数)并将处理后的rgb图像与原始深度信息结合起来。我需要遵循基本步骤才能使用合适的应用程序(opencv、opengl、openni、kinect sdk 等)
1)如何将kinect的深度和rgb信息传递给opencv？
2) 我们可以单独访问 rgb 图像来处理它吗？
3)如何结合两者，用什么函数来显示输出？
我们使用 windows-64 位和 kinect 作为 3D 传感器。我们计划使用OpenNI获取图像的rgb和深度信息，然后在OpenCV中处理rgb，然后借助OpenGL在窗口中显示图像(处理后的RGB +深度)。
最佳答案
首先，我认为您的问题过于笼统，这将取决于您使用的库/驱动程序...例如，如果您使用 openni，则您以一种方式传递信息，如果您使用 kinect sdk，则您将不得不使用另一种方法......
2) 是的，您可以独立于深度信息访问 RGB 图像并对其进行处理...
3) 将两者结合起来，我想你指的是深度和 rgb。这也取决于您使用的库和驱动程序。还有你想要存储它的方式，例如点云、图像等
我的建议是准确定义您想要实现的目标、使用哪些库以及在哪个操作系统中，然后编辑您的问题。
我使用 openni2、opencv 和 Qt 创建了一个工具，我只在 linux 中使用 primesense 相机和 structure.io 相机进行了测试，但您可能知 Prop 体要做什么。这个工具可以做一些基本的阈值处理并以不同的格式(pcd、图像、oni)保存数据。 Link
openni1和Avin的驱动和Kinect1摄像头我也用了几乎一样的方法，星期三我可以上传代码你可以看看，但基本上是一样的，只是初始化有点变化。
作为处理 RGB-D 图像时应该做的事情的基本 list :
- 初始化相机流
- 在opencv中创建一个矩阵，将数据直接拷贝进去，一定要看库的标准，比如openni使用RGB数组做颜色矩阵，而KinectSDK使用RGBA(至少kinect SDK 2.0)。还要确保深度矩阵是 16 位。
- 要显示深度矩阵，您必须对其进行归一化并将其更改为灰度矩阵。
- 您可以对图像进行任何处理，然后将它们保存为所需格式。
- 查看我提供给您的链接，了解如何将其保存为最常见的格式。
您也可以看看点云库，它们有一个很好的包装器可以完成这项工作，然后很容易将它变成点云。
希望这些信息对您有所帮助。
更新: 对于windows中的Kinect 1，可以安装最新的Kinect SDK并使用openni2，而无需安装额外的驱动程序。
- 只需安装 Kinect SDK 1.8(不是 2.0)
- 安装Openni2
- 运行 NiViewer.exe 来测试它是否工作(它在 openni 文件夹中)
如果到目前为止一切都很好，那么您只需要:
- 初始化openni
- 初始化颜色和深度流
- 执行一个主循环，将其复制到 OpenCV mat(您可以使用我的 code 查看我的意思的示例)
- 对 rgb 图像做任何你想要的处理
- 为 3D 显示/操作创建点云，为此我推荐点云库，因为创建点云很容易，而且他们已经有一个显示。
如果您对任何步骤有疑问，我可以给您代码片段，只需提出一个新问题，我会回答。
希望对你有帮助
关于opencv - 如何使用 Kinect 和 opencv 组合和显示深度和 rgb 图像，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/29196184/