c++ - 原始文件无法播放或播放不正确 - Oboe (Android-ndk)

Question

我正在尝试在我的 Android 应用程序中播放原始 (int16 PCM) 编码的音频文件。我一直在关注并阅读双簧管文档/示例，尝试播放我自己的音频文件之一。

我需要播放的音频文件大约为 6kb，或 1592 帧(立体声)。

启动时没有声音播放，或者声音/抖动播放(输出不同 - 见下文)

疑难解答

更新 我已切换到 float 进行缓冲区排队，而不是将所有内容保留为 int16_t(并在完成后转换回 int16_t)，尽管现在我又回到了没有声音的状态。

音频似乎没有播放，或者在启动时播放(这是错误的)。按“开始”后应该会播放声音。

• 当应用程序仅使用 int16_t 实现时，过早的声音与缓冲区大小有关。如果缓冲区大小小于音频文件，则声音会非常快并且被削波(缓冲区大小较小时更像无人机)。比原始音频大小更大，它看起来像是循环播放，并且在缓冲区大小较高时变得更安静。当按下开始按钮时，声音也会变得“柔和”。我什至不完全确定这意味着原始音频正在播放，它可能只是来自 Android 的随机无意义抖动。

• 当用 float 填充缓冲区并随后转换为 int16_t 时，不会播放任何音频。

(我尝试过运行 systrace，但老实说我不知道​​我在寻找什么)

• 信息流打开正常。
• 无法在createPlaybackStream()中调整缓冲区大小(尽管不知何故它仍然将其设置为突发大小的两倍)
• 直播开始正常。
• 原始资源加载正常。

实现

我目前在构建器中尝试的内容:

• 将回调设置为 this 或 onAudioReady()
• 将性能模式设置为低延迟
• 将共享模式设置为独占
• 将缓冲区容量设置为(大于我的音频文件帧数的任何值)
• 将突发大小(每次回调的帧数)设置为(等于或小于缓冲区容量/2 的任何值)

我正在使用节奏游戏示例中的 Player 类和 AAssetManager 类:https://github.com/google/oboe/blob/master/samples/RhythmGame 。我正在使用这些类来加载我的资源并播放声音。 Player.renderAudio 将音频数据写入输出缓冲区。

以下是我的音频引擎的相关方法:

void AudioEngine::createPlaybackStream() {

//    // Load the RAW PCM data files into memory
    std::shared_ptr<AAssetDataSource> soundSource(AAssetDataSource::newFromAssetManager(assetManager, "sound.raw", ChannelCount::Mono));

    if (soundSource == nullptr) {
        LOGE("Could not load source data for sound");
        return;
    }

    sound = std::make_shared<Player>(soundSource);

    AudioStreamBuilder builder;

    builder.setCallback(this);
    builder.setPerformanceMode(PerformanceMode::LowLatency);
    builder.setSharingMode(SharingMode::Exclusive);
    builder.setChannelCount(mChannelCount);


    Result result = builder.openStream(&stream);

    if (result == Result::OK && stream != nullptr) {

        mSampleRate = stream->getSampleRate();
        mFramesPerBurst = stream->getFramesPerBurst();

        int channelCount = stream->getChannelCount();
        if (channelCount != mChannelCount) {
            LOGW("Requested %d channels but received %d", mChannelCount, channelCount);
        }

        // Set the buffer size to (burst size * 2) - this will give us the minimum possible latency while minimizing underruns
        stream->setBufferSizeInFrames(mFramesPerBurst * 2);
        if (setBufferSizeResult != Result::OK) {
            LOGW("Failed to set buffer size.  Error: %s", convertToText(setBufferSizeResult.error()));
        }

        // Start the stream - the dataCallback function will start being called

        result = stream->requestStart();
        if (result != Result::OK) {
            LOGE("Error starting stream. %s", convertToText(result));
        }

    } else {
        LOGE("Failed to create stream. Error: %s", convertToText(result));
    }
}

DataCallbackResult AudioEngine::onAudioReady(AudioStream *audioStream, void *audioData, int32_t numFrames) {
    int16_t *outputBuffer = static_cast<int16_t *>(audioData);

    sound->renderAudio(outputBuffer, numFrames);
    return DataCallbackResult::Continue;
}

// When the 'start' button is pressed, it calls this method with true
// There should be no sound on app start-up until this button is pressed
// Sound stops when 'stop' is pressed

setPlaying(bool isPlaying) {
    sound->setPlaying(isPlaying);
}

Answer 1

Setting the buffer capacity to (anything bigger than my audio file frame count)

您不需要设置缓冲区容量。这将自动设置为您合理的水平。通常约为 3000 帧。请注意，缓冲区容量与缓冲区大小不同，后者默认为2*framesPerBurst。

Setting the burst size (frames per call back) to (anything equal to or lower than the buffer capacity / 2)

再次强调，不要这样做。每次流需要更多音频数据时都会调用 onAudioReady ，并且 numFrames 指示您应该提供多少帧。如果您使用与音频设备的 native 突发大小不精确比率的值覆盖此值(典型值为 128、192 和 240 帧，具体取决于底层硬件)，那么您可能会遇到音频故障。

I have switched to floats for buffer queuing

您需要提供数据的格式由音频流决定，并且只有在打开流后才知道。您可以通过调用stream->getFormat()来获取它。

在 RhythmGame 示例(至少 the version you're referring to )中，格式的工作原理如下:

1. 源文件从 16 位转换为 AAssetDataSource::newFromAssetManager 内的 float ( float 是任何类型信号处理的首选格式)
2. 如果流格式是 16 位，则将其转换回 onAudioReady

1592 frames (stereo).

您说您的信号源是立体声，但您在此处将其指定为单声道:

std::shared_ptr soundSource(AAssetDataSource::newFromAssetManager(assetManager, "sound.raw", ChannelCount::Mono));

毫无疑问，这会导致音频问题，因为 AAssetDataSource 的 numFrames 值是正确值的两倍。这会导致音频故障，因为有一半的时间您将播放系统内存的随机部分。