ios - 实时音频对话 iOS

标签 ios audio real-time livechat

我正在为希望允许用户之间进行实时(最小延迟,最大 50 毫秒)对话(一种 Teamspeak)的客户设计一个 iOS 应用程序。延迟一定要低,因为音频也可以是现场音乐,用乐器演奏,所以所有用户都需要同步。我需要一个服务器,它将向每个客户端请求录音并发送给其他人(并让他们同时听到相同的声音)。
HTTP 易于管理/实现且易于扩展,但性能非常低,因为平均 HTTP 请求需要 > 50 毫秒...(使用中级硬件),所以我在考虑 TCP/UDP 连接在客户端之间保持打开状态和服务器。
但我有一些问题:

  • 如果我用 Python 开发服务器(例如使用 TwistedMatrix),它的性能如何?
  • 我不能用 C++ 开发服务器,因为它很难管理(可扩展)和开发。
  • 有人使用 Nodejs(易于扩展)来管理 TCP/UDP 连接吗?
  • 如果我使用 HTTP,Keep-Alive 是否足够快?因为通常执行 HTTP 请求所需的时间大于 50 毫秒(因为打开-关闭连接很困难),我希望总过程少于那个时间。
  • 服务器将在 Linux 机器上运行。

  • 最后:您可以建议我使用哪种类型的压缩?我认为 Ogg Vorbis 会很好,但如果有更好的(并且可以在 iOS 中使用),我愿意进行更改。

    谢谢,
    奥马尔。

    最佳答案

    首先,您不会获得低于 50 毫秒的延迟。其他人已经尝试过这个。参见示例 http://ejamming.com/一种尝试做你正在做的事情的服务,但线路上有明显的音乐延迟,因此在许多人的耳朵里,完全无法使用。他们使用特殊的路由技术来尽可能降低延迟,最后我听说他们的服务不适用于某些路由器配置。

    其次,您在服务器上使用的语言可能没有太大区别,因为从客户端到服务器的延迟将比您的服务造成的任何延迟更糟糕,但如果我正确理解您的服务,您将需要很多服务器(或服务器线程)只是在客户端之间中继音频数据或进行某种最小混合。这是每个连接的少量工作,但是很多连接,因此您需要可以处理的东西。我会倾向于 Java、Scala 或 Go 之类的东西。我可能是错的,但我认为这不是 node 的一个很好的用例,据我所知,它目前不能很好地处理多线程。另外,不要对 C++ 嗤之以鼻,C++ 已经构建了可扩展服务。您还可以在 C++ 中构建服务的中继部分,而其余部分则以任何方式构建。

    第三,在选择压缩格式时,如果您打算使用 UDP,则必须选择一种可以避免丢包的格式,而我认为 UDP 是唯一的方法。我不认为 vorbis 能胜任这项任务,但我可能是错的。在我的脑海中,我不确定在 iPhone 上是否有任何东西可以在 iPhone 上运行并且对 UDP 友好,但我确信有很多东西。 Speex 就是一个例子,它是开源的。不确定延迟和质量是否满足您的需求。

    最后,坦率地说,我认为还有一些其他的事情你应该多研究一下。例如。 DNS 通常在本地缓存,而不是在每次 http 调用时检查(尽管它可能取决于系统/库。至少大多数系统在本地缓存 dns)。此外,没有像 TCP/UDP 这样的协议(protocol)。有 TCP/IP(有时简称为 TCP)和 UDP/IP(有时简称为 UDP)。您似乎将两者称为一体。差异对于您正在做的事情非常重要。例如,HTTP 运行在 TCP 之上,而不是 UDP,而 UDP 被认为是“不可靠的”,但开销较小,因此它适用于流式传输。

    编辑:spex

    关于ios - 实时音频对话 iOS,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/12297190/

    相关文章:

    ios - Xcode 6 : iOS 8. 1 开发者磁盘镜像无法挂载

    javascript - 从 Bootstrap Modal 中删除 MediaElement.js

    html - Google文字语音转换始终显示404(未找到)

    mysql - 使用 Redis 缓存实时单页应用程序中使用的数据

    php - 如何在多个客户端同步播放YouTube视频?

    ios - UICollectionView 隐藏/防止单元格在粘性标题后面滚动

    iOS 11 ARKit : Drag Object in 3D View

    ios - UIViewController 不会转到另一个 UIViewController 吗?

    c# - 计算文件的持续时间

    database - 实时协作应用程序如何保存数据?