我正在尝试创建一个直播音频和视频的 RTSP 客户端。我在链接 http://www.gdcl.co.uk/downloads.htm 修改了 iOS 代码并能够正确地将视频广播到服务器。但是现在我在播放音频部分时遇到了问题。在链接示例中，代码的编写方式是将视频数据写入文件，然后从文件中读取数据并将 NALU 的视频数据包上传到 RTSP 服务器。
对于音频部分，我不确定如何进行。现在我尝试的是从麦克风获取音频缓冲区，然后通过添加 RTP header 和 ALU 将其直接广播到服务器。但是这种方法无法正常工作，因为音频开始滞后并且滞后随着时间的推移而增加。有人可以让我知道是否有更好的方法来实现这一点并使用口型同步音频/视频。
最佳答案
您是否丢失了客户端上的任何数据包？如果是这样，你需要留下“空间”。如果您收到数据包 1,2,3,4,6,7，您需要为丢失的数据包 (5) 留出空间。
另一种可能性是所谓的时钟漂移问题。您的客户端和服务器上的时钟( Crystal )彼此不完全同步。
这可能是由环境、温度变化等引起的。
假设在一个完美的世界中，您的服务器正在以 48000 赫兹的频率生成 20 毫秒的音频样本。您的客户端正在使用 48000 赫兹的采样率播放它们。实际上，您的客户端和服务器并不完全是 48000hz。您的服务器可能是 48000.001，您的客户端可能是 47999.9998。因此，您的服务器可能比您的客户端交付得更快，反之亦然。您要么消耗数据包速度太快导致缓冲区运行不足，要么滞后太多导致客户端缓冲区溢出。在您的情况下，听起来客户端播放速度太慢并且慢慢落后于服务器。您可能每分钟只滞后几毫秒，但问题会一直持续下去，看起来就像一部 1970 年代口型同步的功夫电影。
在其他设备中，通常有一条公共(public)时钟线来保持同步。例如，摄像机时钟、midi 时钟。多轨录音机时钟。
当您通过 IP 传送数据时，客户端和服务器之间没有共享公共(public)时钟。因此，您的问题涉及在不同设备之间同步时钟。我已经使用这种通用方法成功解决了这个问题:
- A) 让客户端计算一段时间内传入的数据包的速率。
- B) 让客户端计算数据包被消耗(回放)的速率。
- C) 根据A和B调整客户端的采样率。
因此您的客户要求您调整播放的采样率。所以是的，你玩得更快或更慢。请注意，播放速率的变化将非常非常微妙。您可以将采样率设置为 48000.0001 赫兹而不是 48000 赫兹。音高的差异是人类无法察觉的，因为它只会导致音高的一小部分差异。我给出了一个非常简化的方法的解释。在开发此类控制系统时，必须考虑许多其他细微差别和边缘情况。你不只是设置它并忘记它。您需要一个控制系统来管理回放。
证明这一点的一个有趣的测试是使用具有完全相同文件的两个设备。长时间录音(比如 3 小时)是最好的。同时启动它们。播放 3 小时后，您会发现一个先于另一个。
这篇文章解释了 it is NOT a trivial task to stream audio and video .
关于ios - 在 objective-c 中创建用于实时音视频广播的rtsp客户端，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/32248008/