到目前为止,我已经成功运行了以下示例:
WebRTC native c++ to browser video streaming example
该示例展示了如何将视频从 native C++ 应用程序 (peerconnection_client.exe) 流式传输到浏览器(我使用的是 Chrome)。这工作正常,我可以在浏览器中看到自己。
我想做的是将音频从浏览器流式传输到 native 应用程序,但我不确定如何操作。谁能给我一些建议吗?
最佳答案
我正在尝试找到一种将视频和音频从浏览器流式传输到我的 native 程序的方法。到目前为止,这是我的方式。
要在没有 gui 的情况下将视频从浏览器流式传输到您的 native 程序,只需按照此处的示例进行操作。 https://chromium.googlesource.com/external/webrtc/+/refs/heads/master/examples/peerconnection/client/
使用AddOrUpdateSink
添加您自己的VideoSinkInterface
,您将在回调void OnFrame(const cricket::VideoFrame& frame)
中收到您的帧数据.您可以做任何您想做的事情,而不是像示例那样将框架渲染到 GUI。
在没有真实音频设备的情况下将音频从浏览器流式传输到您的 native 程序。你可以使用假的音频设备。
- 将文件https://chromium.googlesource.com/external/webrtc/+/master/webrtc/build/webrtc.gni中的变量
rtc_use_dummy_audio_file_devices
修改为true
- 调用全局静态函数指定文件名
webrtc::FileAudioDeviceFactory::SetFilenamesToUse("", "file_to_save_audio");
- 用代码修复
file_audio_device.cc
补丁。 (在我写这个答案时,FileAudioDevice 有一些问题,可能已经修复了) - 重新编译你的程序,
touch file_to_save_audio
建立webrtc连接后,你会在file_to_save_audio
中看到pcm数据。
补丁:
diff --git a/webrtc/modules/audio_device/dummy/file_audio_device.cc b/webrtc/modules/audio_device/dummy/file_audio_device.cc
index 8b3fa5e..2717cda 100644
--- a/webrtc/modules/audio_device/dummy/file_audio_device.cc
+++ b/webrtc/modules/audio_device/dummy/file_audio_device.cc
@@ -35,6 +35,7 @@ FileAudioDevice::FileAudioDevice(const int32_t id,
_recordingBufferSizeIn10MS(0),
_recordingFramesIn10MS(0),
_playoutFramesIn10MS(0),
+ _initialized(false),
_playing(false),
_recording(false),
_lastCallPlayoutMillis(0),
@@ -135,12 +136,13 @@ int32_t FileAudioDevice::InitPlayout() {
// Update webrtc audio buffer with the selected parameters
_ptrAudioBuffer->SetPlayoutSampleRate(kPlayoutFixedSampleRate);
_ptrAudioBuffer->SetPlayoutChannels(kPlayoutNumChannels);
+ _initialized = true;
}
return 0;
}
bool FileAudioDevice::PlayoutIsInitialized() const {
- return true;
+ return _initialized;
}
int32_t FileAudioDevice::RecordingIsAvailable(bool& available) {
@@ -236,7 +238,7 @@ int32_t FileAudioDevice::StopPlayout() {
}
bool FileAudioDevice::Playing() const {
- return true;
+ return _playing;
}
int32_t FileAudioDevice::StartRecording() {
diff --git a/webrtc/modules/audio_device/dummy/file_audio_device.h b/webrtc/modules/audio_device/dummy/file_audio_device.h
index a69b47e..3f3c841 100644
--- a/webrtc/modules/audio_device/dummy/file_audio_device.h
+++ b/webrtc/modules/audio_device/dummy/file_audio_device.h
@@ -185,6 +185,7 @@ class FileAudioDevice : public AudioDeviceGeneric {
std::unique_ptr<rtc::PlatformThread> _ptrThreadRec;
std::unique_ptr<rtc::PlatformThread> _ptrThreadPlay;
+ bool _initialized;;
bool _playing;
bool _recording;
uint64_t _lastCallPlayoutMillis;
关于javascript - 如何将音频从浏览器流式传输到 WebRTC native C++ 应用程序,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/23449666/