ios - 在 iOS 上使用音频单元混合多个信号

Question

我正在为 iPad 上的合成器制作 Controller ，我有 4 或 5 个信号要混合并发送到 remoteIO 渲染回调。现在我有两个选择:

我可以使用多 channel 混音器单元，但我不知道它的内部工作原理。它只是将缓冲区加在一起并除以缓冲区的数量吗？因为这意味着每个人的数量都会大大减少。

我读了http://www.vttoth.com/digimix.htm和 http://atastypixel.com/blog/how-to-mix-audio-samples-properly-on-ios/关于混合信号的正确方法，现在正在考虑在 remoteIO 回调中手动进行混合。

有什么建议吗？

Answer 1

由于我最近遇到了这个问题并且无论如何都有意义，所以我写了一篇详细的帖子，介绍在渲染回调中手动混合/求和音频时的三个选项:

Mixing Audio without Clipping in iOS: Limiters and Other Techniques

基本上，您引用的博客文章中概述了第一种方法。然而，正如 A Tasty Pixel 的帖子中所述，这种“平均”技术引入了谐波失真。但显然，它在某些应用程序中并不明显，例如当源是完整音轨或基于噪音的打击乐(例如小军鼓)时。根据 A Tasty Pixel，Loopy app ，一个专业水准的音频工具，成功地使用了这个技术。

第二个选项，如果你有自然的声音和/或高复音，这可能更好，它只是通过将音频数据预乘 0 < A < 1 来缩小音频的音量。这听起来可能很滑稽但我相信，出于我的博客文章中概述的原因，OpenAL 会根据您分配的资源数量做类似的事情。比例因子不必像您想象的那么低。我的应用程序，Sound Wand ，将样本归一化为满刻度，最大复音为 20，我使用的预刻度值仅为 1/3(不是 1/20)。好处是你的乐器有一个非常好的动态范围——即柔和的音符很安静，而硬的音符或许多音符一起响亮得多。这通常被认为是优质仪器的标志之一。缺点是 iPhone/iPad 的内置扬声器有时有点安静，动态范围对于廉价的外部放大器来说可能太大了。

第三个选项确实是砖墙限制器，但它并不简单。普通的砖墙限制器不会防止削波。您需要一个先行 brickwall 限制器，并且这些代码不容易获得。您需要前瞻的原因是限制器需要时间来平滑地降低音量直到削波第一次发生。当波形开始削波时“立即降低音量”是不够的，因为降低音量以使其恢复到 1.0 与削波为您所做的完全相同!因此，非前瞻性限制器只会删除 一半 剪辑(而那只是因为释放时间)。

(没有“先行”的砖墙限制太晚了，只阻止了一半的剪辑)

前瞻限制器也有缺点。它们引入了自己的谐波失真，尽管远小于削波。更糟糕的是，它们会通过先行时间增加延迟，即用户操作与音频输出之间的时间。这意味着响应速度较慢的应用程序。正如您可能已经猜到的那样，更长的前瞻时间意味着更透明的结果(更少的失真)，因此需要权衡。我仍然相信这是可行的方法，我在 the post 的底部做了一些概述。 .

关于使用 AU 混音器与在 remoteIO 中手动混音的最后一点注意事项:如果我的 channel 类似于音频“轨道”并且我希望控制通常的音量/声像，我通常更倾向于使用 AU由用户或如果您的游戏有几个 channel 可能用于背景/前景/等。如果你有很多声音，比如键盘上的音符，或者如果你想定制控制总和(例如不同的声像法则，关于哪些声音开/关的特殊规则等)你最好手动完成。如果您只是总结几个音轨，那么任何一个选项都可以。如果您选择上面的选项 2，一旦您掌握了 Accelerate Framework's vDSP functions，手动执行它实际上只需要很少的代码行。 .