ios - 清除一些3D OpenGL“魔术”功能

标签 ios opengl-es

我一直在阅读OpenGL ES 2.0,SpriteKit和GLKit,但是我仍然不知道如何解决以下问题。

问题:

1)创建一个圆柱形的360度空间,该空间容纳一个AVCaptureVideoPreviewLayer,并且随着用户转动他/她的电话而旋转。不要太在意旋转部分,这是我关注的OpenGL部分。像,如何画线?捕获后,如何将图像放置在捕获位置?这里使用什么组件? SpriteKit还是OpenGL?

enter image description here enter image description here

2)从根本上讲与(1)有关如何放置图像。假设您有一个四元数,您将如何在3D空间中放置图像?

问题/疑虑:

我什至会如何开始?如果有人可以给我一个简短的摘要,我应该做的事情,我将不胜感激。甚至某些代码示例也将非常有用,因为如果我用代码编写的话,我会更好地理解。

问题在于没有关于它的任何实际文档,因此,如果您有任何参考(甚至是书籍?),我将不胜感激。

谢谢!

最佳答案

我会尝试从最简单到最困难的答案,也许会为您指明方向。


glDrawElements具有一个mode参数,您可以将其分隔为GL_LINE_STRIP, GL_LINE_LOOP, GL_LINES,等等。。。在OpenGL中绘制时,您要尝试尽量减少执行的绘制调用的次数,因此一旦设置了绘制状态,就提交尽可能多的您可以一次调用一次几何图形。基本上,一次调用即可绘制整个圆柱线。幸运的是,您只需要计算一次就可以用矩阵处理旋转。
接下来,您将需要学习矩阵和着色器以绘制几何图形。阅读NeHe教程,我认为它们已针对OpenGLES2更新。基本上,您有一个视图和投影矩阵(MVP)。投影是将3D几何体投影到2d空间中(并从-1..1标准化)。该视图是旋转几何体的位置。我的建议是在Github或Apple Developer文档上找到一个示例并将其修改。另外,寻找OpenGL兼容的矩阵库。
首次开始旋转时,请使用拖动/滑动事件进行测试,以便可以确定要绕哪个轴旋转(y轴)以及向左/向右旋转的方式。然后将其连接到您的运动事件(加速度计)。您的运动事件将记录在视图旋转中,矩阵的每一帧都会发生变化(并且需要重乘并重新上载到着色器)。


(这是开始变得困难的时候,哈哈)


将AVCaptureVideoPreviewLayer(AVLayer)放在EAGLView图层上,使其像示例中一样小。
接下来,您将需要执行光线投射,以使用MVP矩阵找出AVLayer与圆柱体相交的位置。好吧,实际上它稍微复杂一点,您必须将相机图像取消投影到“视图”空间中,然后将其映射到圆柱体的纹理上。


让我重新开始。

如果要画一条从观察摄像机朝向AVLayer的线,它将与圆柱体在不同点相交。在此相交处可以将图像缝合到圆柱上。您知道圆柱的几何形状(或方程式),也知道视图的旋转。您知道AVLayer和投影矩阵的大小和位置。

问题是这很慢。因此,也许您认为您可以避免从圆柱体向后投影到摄像机,以将圆柱体的UV坐标与AVLayer的交点进行投影。但是,这会导致投影问题,并且图像看起来会歪斜和怪异地伸展。因为您正在线性插值非线性投影。

您的下一个想法是尝试慢速方式并将每个像素投射到圆柱体的纹理。这看起来更好,但现在有漏洞。

最后,您意识到要结合这两种方法,并从圆柱体的纹理向后投影到视图并“读取” AVLayer的交集。另外,由于要写入纹理,因此决定使用RTT,让GPU进行繁重的工作(快得多)。现在,AVLayer只是要渲染为圆柱体纹理的纹理。

坏消息是,虽然您可以在片段着色器中使用一个投影矩阵来将平面AVLayer投影到圆柱壁上,但我不知道这是什么。另外,您可能需要为横穿接缝的任何纹理渲染两次。

圆柱具有渲染到的透明纹理。只需根据“最终”图像的分辨率将U,V坐标添加到圆柱体即可。绘制圆柱体两次,一次使用纹理(如四边形),然后再次(如线)。

在NeHe教程中查找FBO渲染目标(RTT)。

同样,可以在不使用OpenGL的情况下渲染到圆柱体的纹理,但是您需要在单独的线程中进行渲染,然后重新上传圆柱体的纹理。这将允许您使用数学来投影纹理并自己扫描。您可以使用模数运算符自动包装扫描线,而不必担心重复两次。

免责声明:这将使我无法满足您的要求。我个人将在github上寻找一个全景应用程序,并可能开始在该处进行黑客攻击以添加其他内容(例如圆柱体)。青年汽车

关于ios - 清除一些3D OpenGL“魔术”功能,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43970106/

相关文章:

ios - CAShapeLayer 不可见

ios - Objective-C 中的数据序列化(Avro 替代方案)

ios - 删除 iOS7 中的后退箭头

ios - 在 Xamarin iOS 上获取系统语言设置

opengl-es - Opengl Shader,gl_FragColor的alpha组件是什么?

iphone - iPhone 上的 glgConvertTo_32

ios - 如何在 OpenAL 中停止声音 Smooth

android - 如何防止 GLSurfaceView 频繁地重新创建 OpenGL 表面(在 Android 上)?

android - 在相机 View 中显示 3D 图形?

c++ - 使用 VBO 时的 EXC_BAD_ACCESS