java - 直播主题

Question

对于那些对您的设备 网络服务器。 (初级安卓/Java) 我终于找到了一种方法，可以将我设备的摄像头直播到我的网络服务器(网站)。在 wifi 网络上大约需要。 1 帧/秒在 wifi 网络上显示，它也适用于 EDGE/3G 网络。在这个主题/问题中，我想讨论有关直播的新技术、改进和想法，因为我将与您分享我的(代码也很受欢迎。)

我的代码使用 setOneShotPreviewCallback() 调用 onPreviewFrame() 从相机预览中重复拍摄快照。该帧以 YUV 格式提供，因此 raw2jpg() 将其转换为 32 位 ARGB 用于 jpeg 编码器。 NV21 是一种 YUV 平面格式。

getPicture() 由应用程序调用，并为私有(private)字节数组 mCurrentFrame 中的图像生成 jpeg 数据并返回该数组。

在此之后，byteArray mCurrentFrame 获得 Base64Encoded 并以 HTTP POST 方法连同 Base64 的字符串值和自己的 ID 代码发送到我的网络服务器，这样人们就无法再向它发送另一个图像。在网络服务器上，它再次被解码并放入文件 test.jpg 中。 PHP 和 Javascript 在网络服务器上运行。 PHP 获取 POST 方法，JavaScript 每 750 秒重新加载一次图像。这基本上就是它的工作原理。

现在我对你的想法、改进和其他你想添加/询问的事情非常感兴趣。 以下是我的一些问题:

1) 使用音频进行直播的最佳方法是什么？视频录制还是我的方法 + 录音？

2) 您将如何处理视频流？

3) 您将如何将音频流式传输到网络服务器？ (主要目标)(使用 Java、PHP 和 JavaScript)

4) 我还计划在 i 中添加典型的实时流媒体功能，例如当名人出现时，您可以在直播时显示他的名字，或者只需将 sd 目录中的图像添加到直播中。您是否还会对其进行解码并叠加图像，或者以某种方式将图像放在您的直播中？

这个主题主要是为了提问，所以这可能对这里的一些人有很大的帮助。因此，我给它增加了 50(哇!)声望的赏金。

真诚的， XverhelstX

Answer 1

让我印象深刻的是，http 发布可能不是将视频实时流式传输到您的服务器的好方法。其他人一直在玩直播，他们使用套接字将直播视频流和音频流广播到他们的服务器。

我觉得这很有趣 - 这是一个链接。

http://www.mattakis.com/blog/kisg/20090708/broadcasting-video-with-android-without-writing-to-the-file-system

但是那家伙还发布了部分代码示例-

String hostname = "your.host.name";
int port = 1234;

Socket socket = new Socket(InetAddress.getByName(hostname), port);

ParcelFileDescriptor pfd = ParcelFileDescriptor.fromSocket(socket);

MediaRecorder recorder = new MediaRecorder();

// Additional MediaRecorder setup (output format ... etc.) omitted

recorder.setOutputFile(pfd.getFileDescriptor());

recorder.prepare();

recorder.start();

我不知道的最酷的部分是 ParcelFileDescriptor - 它在 android 文件系统上创建一个文件，它实际上是一个到套接字的管道 - 所以写入文件的任何内容都会通过网络广播到远程服务器。套接字也是执行此类操作的正确方法，因为它们允许您连续发送数据直到录制完成，而无需一遍又一遍地重新发送 header 。

我认为这项技术很酷的地方在于，他实际上是从 MediaRecorder 获取输出(这将是一个编码视频流)并通过套接字将其传输到他的服务器。然后他可以简单地保存通过套接字传入的数据。没有逐帧，没有处理(Android SDK 没有很好地公开 SDK 中的编码器，而且它们非常耗费性能)。

人们报告说它有效，但我还没有测试过。无论如何，希望这对您有所帮助。