我正在尝试创建一个示例应用程序，我可以在其中将 3d 对象叠加在相机屏幕上。它们将被放置在一个特定的点，并在用户移动相机以改变视角时重新绘制每一帧。
本质上，我想复制这个:http://www.youtube.com/watch?v=EEstFtQbzow
这是我尝试更准确地表述问题的尝试:考虑在初始对象放置时给定一个初始图像矩阵(表示所有 X、Y 像素坐标)。放置后，需要分析每个后续视频帧以重新定位已放置的对象，以便根据新视角正确地重新绘制(覆盖)它。
我有一点计算机视觉方面的背景知识，但我不确定如何完成这项特定任务。作为引用，我要创建的示例应用程序将适用于 Android，因此如果有人知道我可以利用的现有代码，那也很好。但是，我非常愿意被引导阅读描述我需要实现的算法的学术论文。 谢谢。
最佳答案
这是计算机视觉中一个众所周知的问题。为此，您可以引用各种论文，包括执行同步定位和映射 (SLAM) 的系统，这些系统可能使用捆绑调整或基于过滤器的跟踪。阅读有关这些主题的热门论文将使您深入了解现实世界中的相机和跟踪。
总而言之，您需要在每一帧中获取相机的 6D 姿态，即您需要弄清楚相机在现实世界中的位置(翻译)，以及它指向的位置(回转)。这通常是通过首先跟踪场景中的显着特征，估计它们的 3D 位置，然后使用这些特征的感知运动来计算每一帧中的相机姿势来完成的。您将需要在现实世界中定义一个原点(您不能将相机用作您要解决的问题的原点)，并且至少有 4 个已知/测量点作为引用。在您问题中包含的视频中，Augment 似乎使用打印图案来获得初始相机姿势。然后他们跟踪现实世界中的特征以继续跟踪姿势。
获得相机姿势后，您可以使用投影在现实世界中定位 3D 对象。相机姿势被编码为基本/基本相机矩阵，您可以使用它来将世界上的任何 3D 点转换为相机框架中的 2D 位置。因此，要在现实世界中渲染一个虚拟 3D 点，比如 (x, y, z)，您将使用相机矩阵将 (x, y, z) 投影到 2D 点 (u, v)。然后在从相机获得的图像上渲染该点。对要渲染的对象的每个点都执行此操作，就完成了:)
关于algorithm - 计算机视觉/增强现实 : how to overlay 3D objects over vision?，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/16074434/