javascript - 从缓冲区播放声音

Question

我正在尝试构建一个实时语音通话应用程序。我的目标是使用原生 JS 麦克风 api 并通过 websocket 将数据发送到其他客户端。我想出了以下代码:

<script>
// Globals
var aCtx;
var analyser;
var microphone;

navigator.getUserMedia_ = (   navigator.getUserMedia
                           || navigator.webkitGetUserMedia 
                           || navigator.mozGetUserMedia 
                           || navigator.msGetUserMedia);

if (navigator.getUserMedia_) {
    navigator.getUserMedia_({audio: true}, function(stream) {
        aCtx = new webkitAudioContext();
        analyser = aCtx.createAnalyser();
        microphone = aCtx.createMediaStreamSource(stream);
        microphone.connect(analyser);
        process();
    });
};
function process(){
    console.log(analyser);
    setInterval(function(){
        FFTData = new Float32Array(analyser.frequencyBinCount);
        analyser.getFloatFrequencyData(FFTData);

        console.log(FFTData); // display
    },10);
}

</script>

所以我每 10 毫秒就会获取缓冲区并通过节点发送它。问题是我不知道如何播放缓冲区，我什至不确定我是否以正确的方式获取缓冲区。我试过:

var source = audioContext.createBufferSource();
var buffer; // the result printed in the code below
var audioBuffer = audioContext.createBuffer(1, buffer.length, 44100);
audioBuffer.getChannelData(0).set(buffer);
source.buffer = audioBuffer;
source.connect(audioContext.destination);

我的缓冲是否正确？怎么玩？

Answer 1

要发出缓冲区的播放，您必须调用 start method在您的 AudioBufferSourceNode 实例上。这里的问题是:你想播放一个音频流，一个AudioBuffer。不是为此而设计的。如果您继续创建 AudioBuffer 对象，用数据填充它们并将它们提供给您的 AudioBufferSourceNode 实例，肯定会有明显的声音停顿。

您应该保留一个缓存缓冲区，在数据到达后立即填充它并以正常速度清空它(不是立即，您必须等待其中有足够多的音频)。

执行此操作的最佳方法是使用提供的正确 API:查看 http://www.w3.org/TR/webaudio/#MediaStreamAudioDestinationNode-section和 http://www.w3.org/TR/webaudio/#MediaStreamAudioSourceNode-section .