ios - 多个SCNView音频错误

标签 ios scenekit virtual-reality scntechnique

我正在使用 SceneKit 开发一款既支持正常游戏又支持 VR 的游戏。正常播放时,我有一个 SCNView,一个摄像头,也对应于 View 音频监听器。切换到 VR 模式时,我将屏幕分成两个 SCNView,两者都从两个不同的摄像机播放同一场景,音频监听器位于它们之间,这里没有问题。

在我的游戏中,我需要位置音频,因此我使用 SCNAudioSuorce 使用 SCNAction 来播放音效,但由于在两个 View 中都播放相同的场景,我如何静音其中一个,音频仅来自另一个?我搜索了网络和文档,但没有发现任何相关内容。

iOS 11 更新:在 iOS 11 上测试我的应用并尝试在 VR 模式下播放声音后,应用在 __UpdateAudioTransform 处的渲染队列线程上崩溃,因为我播放该声音,将其从 Action (包括其他节点转换)中删除可以使游戏运行良好。

更新 1: 感谢 @rickster 的建议,我尝试实现 SCNTechnique 并遵循 Apple 文档,我得到了这个

SCNTechnique(dictionary: [
    "passes" : [
        "leftView": [
            "draw": "DRAW_SCENE",
            "pointOfView": stereoCameraLeftName,
            "viewport": "(0, 0, 400, 400)"
        ],
        "rightView": [
            "draw": "DRAW_SCENE",
            "pointOfView": stereoCameraRightName,
            "viewport": "(200, 0, 400, 400)"
        ]
    ],
    "sequence": [ "leftView", "rightView" ]
    ])

其中 stereoCameraLeftNamestereoCameraRightName 在其他地方定义为字符串,并用作包含相应相机的节点的名称,视口(viewport)尺寸仅用于测试。当我将此技术应用于场景时,它不起作用,并且根据场景 pointOfView 的设置方式,我要么看到充满背景颜色的完整场景(pointOfView set用于非 VR 模式的相机,不再链接到场景图)或使用两个相机之一渲染的完整尺寸(pointOfView 设置为 nil),什么我失踪了吗?

更新2:经过一些尝试和错误,我发现为自定义视口(viewport)定义简单 channel 的正确方法是这样的,使用 w h 定义为 CGFloat:

let technique = SCNTechnique(dictionary: [
    "passes" : [
        "leftView": [
            "outputs": [ "color": "COLOR" ],
            "draw": "DRAW_SCENE",
            "colorStates": [
                "clear": true,
                "clearColor": "sceneBackground"
            ],
            "pointOfView": stereoCameraLeftName,
            "viewport": "0 0 \(w) \(h)"
        ],
        "rightView": [
            "outputs": [ "color": "COLOR" ],
            "draw": "DRAW_SCENE",
            "colorStates": [
                "clear": false
            ],
            "pointOfView": stereoCameraRightName,
            "viewport": "\(w) 0 \(w) \(h)",
            "blendStates": [
                "colorOp": "add",
                "alphaOp": "add"
            ]
        ]
    ],
    "sequence": [ "leftView", "rightView" ]
])

但是有一个问题:当渲染第二个 channel 时,屏幕的左侧保持黑色(清晰的颜色)并且右侧渲染正确,如果我排除此 channel ,只留下第一个 channel ,则左侧是正确的渲染后,右侧将按预期显示场景背景颜色。奇怪的是,如果我不是在运行 iOS 11 的 iPhone 6s 上进行测试,而是在模拟器 (iOS 11) 上进行测试,一切似乎都工作正常,我确信我在结合这两个过程时遗漏了一些东西。

更新 2.1:从第二遍中删除 blendStates 会产生相同的结果。

更新 3:尝试重新创建 MWE 来重新创建问题,我发现我的方法是正确的,我将尝试调查项目的其他部分以找出问题所在。

最终更新:问题似乎是由 View 上的抗锯齿功能处于事件状态引起的,禁用它使 SCNTechnique 工作正常,似乎是 iOS 11 的一个错误,我已经提交了错误报告。

最佳答案

这是尝试在多个 View 中渲染同一场景的众多问题之一。 (其他包括性能和并发性。)相反,仅使用单个 View 并使用 SCNTechnique 可能是更好的选择。在其中渲染 View 场景两次。

配置技术时,您可以为每个绘制 channel 单独设置pointOfView - 如果您正在寻找立体分离,这可能会很方便。

您还可以为每个 channel 设置视口(viewport)。如果您正在进行某种立体渲染,则可以使用它使一个渲染 channel 覆盖 View 的一半,而另一个渲染 channel 覆盖 View 的另一半。

关于ios - 多个SCNView音频错误,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45417930/

相关文章:

iphone - 帮助!如何在 Controller 之间共享 NSXMLParser 类?

iphone - iPhone/iPad 应用程序启动时发出警报

ios - 使用 GoogleVR 和 SceneKit 时纹理显示不正确

swift - SKScene 在空闲时变得无响应

c# - 如何统一反向播放视频?

ios - 是否有可用于访问 SIM 工具包的私有(private) API?

ios - 在 iOS Web 应用程序中启用 “save image”

ios - 以正确的方式给出纹理

javascript - ThreeJs 中的门户

Oculus Rift 的 Java API?