我正在开发使用 OpenCV 的安卓应用。
我有 mp4 视频文件,我需要从中读取 300 帧 1920x1080 并对它们进行一些图像处理操作。
经过大量搜索,我发现最后只有 this示例。
我的问题是我需要做一件简单的事情,我只想读取帧并将它们保存在设备内存中,或者只是将它们转换为 OpenCV 矩阵。
这是我的尝试(最后解释):
public void run() {
extractor = new MediaExtractor();
extractor.setDataSource(SAMPLE);
for (int i = 0; i < extractor.getTrackCount(); i++) {
MediaFormat format = extractor.getTrackFormat(i);
String mime = format.getString(MediaFormat.KEY_MIME);
if (mime.startsWith("video/")) {
extractor.selectTrack(i);
decoder = MediaCodec.createDecoderByType(mime);
decoder.configure(format, surface, null, 0);
break;
}
}
if (decoder == null) {
Log.e("DecodeActivity", "Can't find video info!");
return;
}
decoder.start();
ByteBuffer[] inputBuffers = decoder.getInputBuffers();
ByteBuffer[] outputBuffers = decoder.getOutputBuffers();
BufferInfo info = new BufferInfo();
boolean isEOS = false;
long startMs = System.currentTimeMillis();
while (!Thread.interrupted()) {
if (!isEOS) {
int inIndex = decoder.dequeueInputBuffer(10000);
if (inIndex >= 0) {
ByteBuffer buffer = inputBuffers[inIndex];
int sampleSize = extractor.readSampleData(buffer, 0);
if (sampleSize < 0) {
Log.d("DecodeActivity", "InputBuffer BUFFER_FLAG_END_OF_STREAM");
decoder.queueInputBuffer(inIndex, 0, 0, 0, MediaCodec.BUFFER_FLAG_END_OF_STREAM);
isEOS = true;
} else {
decoder.queueInputBuffer(inIndex, 0, sampleSize, extractor.getSampleTime(), 0);
extractor.advance();
}
}
}
int outIndex = decoder.dequeueOutputBuffer(info, 10000);
switch (outIndex) {
case MediaCodec.INFO_OUTPUT_BUFFERS_CHANGED:
Log.d("DecodeActivity", "INFO_OUTPUT_BUFFERS_CHANGED");
outputBuffers = decoder.getOutputBuffers();
break;
case MediaCodec.INFO_OUTPUT_FORMAT_CHANGED:
Log.d("DecodeActivity", "New format " + decoder.getOutputFormat());
break;
case MediaCodec.INFO_TRY_AGAIN_LATER:
Log.d("DecodeActivity", "dequeueOutputBuffer timed out!");
break;
default:
ByteBuffer buffer = outputBuffers[outIndex];
Log.v("DecodeActivity", "We can't use this buffer but render it due to the API limit, " + buffer);
byte[] b = new byte[buffer.remaining()];
// We use a very simple clock to keep the video FPS, or the video
// playback will be too fast
while (info.presentationTimeUs / 1000 > System.currentTimeMillis() - startMs) {
try {
sleep(10);
} catch (InterruptedException e) {
e.printStackTrace();
break;
}
}
decoder.releaseOutputBuffer(outIndex, true);
break;
}
// All decoded frames have been rendered, we can stop playing now
if ((info.flags & MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0) {
Log.d("DecodeActivity", "OutputBuffer BUFFER_FLAG_END_OF_STREAM");
break;
}
}
decoder.stop();
decoder.release();
extractor.release();
}
在这个例子中,我读取了帧并将它们显示为 Surface。
为了将其保存为位图/矩阵或将其保存在设备中,我需要更改什么?
谢谢
最佳答案
我看到您的代码有 2 个路径:
- 对于 Android 4.3 及更高版本,您可以使用 Grafika 中的示例正如法登建议的那样。 MediaCodec 解码器应该为配置方法使用表面,并将 boolean 渲染设置为“true”的 releaseOutputBuffer 以便渲染发生在表面上。然后,您可以在渲染到表面时使用着色器执行操作,MediaCodec 编码器将使用该表面将其编码回视频。此解决方案在大多数设备上都很快,带有一些 exceptions , 但它是新的 bugs仍然出现在设备硬件中。
- 如果你能接受一个较慢的解决方案,OpenCV 有一个 nice port/integration on Android ,带有代码示例和所有内容,甚至使用 ffmpeg 编码回 h264。对于解码,您仍然可以使用 MediaCodec(如果将结果渲染到表面,则需要使用速度较慢的 glReadPixels 将数据返回给 cpu)。这也适用于以前版本的 Android。
无论哪种方式,您都需要时间、耐心和精力,因为它不会不经过一些斗争。
关于java - 使用 Mediacodec 解码并使用 OpenCV,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/20353148/