android - 控制 VirtualDisplay 的帧率

Question

我正在编写一个 Android 应用程序，其中有一个 VirtualDisplay镜像屏幕上的内容，然后我将屏幕上的帧发送到 MediaCodec 的实例.它有效，但是，我想添加一种指定编码视频的 FPS 的方法，但我不确定该怎么做。

根据我的阅读和实验，丢弃编码帧(基于呈现时间)效果不佳，因为它最终会生成 block 状/伪影缠身的视频，而不是帧速率较低的流畅视频。其他阅读建议做我想做的事情(限制 FPS)的唯一方法是将传入的 FPS 限制为 MediaCodec ，但是 VirtualDisplay刚收到 Surface它由 MediaCodec 构成如下

mSurface = <instance of MediaCodec>.createInputSurface();
mVirtualDisplay = mMediaProjection.createVirtualDisplay(
    "MyDisplay",
    screenWidth,
    screenHeight,
    screenDensity,
    DisplayManager.VIRTUAL_DISPLAY_FLAG_AUTO_MIRROR,
    mSurface,
    null,
    null);

我也尝试过子类化 Surface并限制提供给 MediaCodec 的帧通过 unlockCanvasAndPost(Canvas canvas)但是我的实例似乎从未调用过该函数，因此，我扩展 Surface 的方式可能有些奇怪。以及与 Parcel 的互 Action 为writeToParcel在我的实例上调用了函数，但这是在我的实例中调用的唯一函数(据我所知)。

其他阅读建议我可以从编码器 -> 解码器 -> 编码器开始，并限制第二个编码器馈送帧的速率，但这是很多额外的计算，如果我能避免的话，我宁愿不这样做.

有没有人成功地限制了 VirtualDisplay 的速率喂它 Surface ？任何帮助将不胜感激!

Answer 1

从你不能做的事开始......

您不能从编码流中删除内容。编码流中的大多数帧本质上与其他帧“不同”。在不知道帧如何交互的情况下，您无法安全地删除内容，并且最终会出现损坏的宏 block 外观。

您不能为 MediaCodec 编码器指定帧速率。它可能会将其填充到某处的元数据中，但对编解码器真正重要的唯一事情是您输入其中的帧，以及与每个帧相关联的呈现时间戳。编码器不会丢帧。

继承 Surface 不能做任何有用的事情。 Canvas 操作仅用于软件渲染，与从相机或虚拟显示器输入帧无关。

您可以做的是将帧发送到中间表面，然后选择是否将它们转发到 MediaCodec 的输入表面。一种方法是创建一个 SurfaceTexture，从中构造一个 Surface，然后将其传递给虚拟显示器。当 SurfaceTexture 的帧可用回调触发时，您要么忽略它，要么使用 GLES 将纹理渲染到 MediaCodec 输入表面。

可以在 Grafika 中找到各种示例和 bigflake ，没有一个是完全适合的，但是所有必要的 EGL 和 GLES 类都在那里。