macos - 如何使用 audioConverterFillComplexBuffer 及其回调？

Question

我需要逐步演练如何使用 audioConverterFillComplexBuffer 及其回调。不，不要告诉我阅读 Apple 文档。我做了他们所说的一切，但转换总是失败。不，不要告诉我去寻找 audioConverterFillComplexBuffer 及其使用中的回调的示例——我已经逐行复制了大约十几个这样的示例，并且进行了修改，并且转换总是失败。不，输入数据没有任何问题。不，这不是字节序问题。不，问题不在于我的 OS X 版本。

问题是我不明白 audioConverterFillComplexBuffer 是如何工作的，所以我不知道我做错了什么。没有任何东西可以帮助我理解，因为地球上似乎没有人真正理解 audioConverterFillComplexBuffer 的工作原理。从实际使用它的人(我在他们的代码中发现 cargo 崇拜编程)到学习核心音频和/或苹果本身的作者(http://stackoverflow.com/questions/13604612/core-audio-how-can -one-packet-one-byte-when-clearly-one-packet-4-bytes)。

这不仅仅是我的问题，对于任何想要在 Mac 平台上编写高性能音频的人来说都是一个问题。明显错误的 Threadbare 文档和不起作用的示例并不有趣。

再次明确一点:我需要一步一步地了解如何使用 audioConverterFillComplexBuffer 及其回调，整个 Mac 开发人员社区也是如此。

Answer 1

这是一个非常古老的问题，但我认为仍然相关。我花了几天的时间来解决这个问题，终于实现了成功的转换。我当然不是专家，但我将概述我对其工作原理的理解。注意我正在使用 Swift，我也只是在学习。

这是主要的函数参数:
inAudioConverter: AudioConverterRef :这个很简单，传入一个之前创建的AudioConverterRef即可。
inInputDataProc: AudioConverterComplexInputDataProc : 非常复杂的回调。我们会回到这个。
inInputDataProcUserData, UnsafeMutableRawPointer? :这是对您可能需要提供给回调函数的任何数据的引用。很重要，因为即使在 swift 中，回调也不能继承上下文。例如。您可能需要访问 AudioFileID 或跟踪到目前为止读取的数据包数量。
ioOutputDataPacketSize: UnsafeMutablePointer<UInt32> : 这个有点误导。名称暗示它是数据包大小，但阅读文档意味着我们知道它是输出格式预期的数据包总数。您可以将其计算为 outPacketCount = frameCount / outStreamDescription.mFramesPerPacket .
outOutputData: UnsafeMutablePointer<AudioBufferList> :这是一个音频缓冲区列表，您需要已经对其进行了初始化，并具有足够的空间来保存预期的输出数据。大小可以计算为byteSize = outPacketCount * outMaxPacketSize .
outPacketDescription: UnsafeMutablePointer<AudioStreamPacketDescription>?) : 这是可选的。如果您需要数据包描述，请传入大小为 outPacketCount * sizof(AudioStreamPacketDescription) 的内存块。 .

当转换器运行时，它会重复调用回调函数来请求更多数据进行转换。回调的主要工作只是从源数据中读取请求的数量数据包。然后转换器将数据包转换为输出格式并填充输出缓冲区。以下是回调的参数:
inAudioConverter: AudioConverterRef : 又是音频转换器。您可能不需要使用它。
ioNumberDataPackets: UnsafeMutablePointer<UInt32> :要读取的数据包数。读取后，您必须将其设置为实际读取的数据包数量(如果我们到达末尾，可能会小于请求的数量)。
ioData: UnsafeMutablePointer<AudioBufferList> : 一个 AudioBufferList，除了实际数据之外已经配置好了。您需要使用足够的容量初始化 ioData.mBuffers.mData 以容纳预期数量的数据包，即 ioNumberDataPackets * inMaxPacketSize .将 ioData.mBuffers.mDataByteSize 的值设置为匹配。
outDataPacketDescription: UnsafeMutablePointer<UnsafeMutablePointer<AudioStreamPacketDescription>?>? :根据使用的格式，转换器可能需要跟踪数据包描述。您需要使用足够的容量对其进行初始化，以容纳预期数量的数据包描述。
inUserData: UnsafeMutableRawPointer? :您提供给转换器的用户数据。

因此，要开始，您需要:

有关于您的输入和输出数据的足够信息，即帧数和最大数据包大小。

初始化一个具有足够容量来保存输出数据的 AudioBufferList。

调用 AudioConverterFillComplexBuffer .

在每次运行回调时，您需要:

初始化 ioData有足够的容量来存储ioNumberDataPackets的源数据。

初始化 outDataPacketDescription有足够的容量来存储ioNumberDataPackets AudioStreamPacketDescriptions。

用源数据包填充缓冲区。

写数据包描述。

设置 ioNumberDataPackets实际读取的数据包数。

返回 noErr如果成功。

这是我从 AudioFileID 读取数据的示例:

var converter: AudioConverterRef?
// User data holds an AudioFileID, input max packet size, and a count of packets read
var uData = (fRef, maxPacketSize, UnsafeMutablePointer<Int64>.allocate(capacity: 1))
err = AudioConverterNew(&inStreamDesc, &outStreamDesc, &converter)
err = AudioConverterFillComplexBuffer(converter!, { _, ioNumberDataPackets, ioData, outDataPacketDescription, inUserData in
    let uData = inUserData!.load(as: (AudioFileID, UInt32, UnsafeMutablePointer<Int64>).self)
    ioData.pointee.mBuffers.mDataByteSize = uData.1
    ioData.pointee.mBuffers.mData = UnsafeMutableRawPointer.allocate(byteCount: Int(uData.1), alignment: 1)
    outDataPacketDescription?.pointee = UnsafeMutablePointer<AudioStreamPacketDescription>.allocate(capacity: Int(ioNumberDataPackets.pointee))
    let err = AudioFileReadPacketData(uData.0, false, &ioData.pointee.mBuffers.mDataByteSize, outDataPacketDescription?.pointee, uData.2.pointee, ioNumberDataPackets, ioData.pointee.mBuffers.mData)
    uData.2.pointee += Int64(ioNumberDataPackets.pointee)
    return err
}, &uData, &numPackets, &bufferList, nil)

同样，我不是专家，这只是我通过反复试验学到的。