c++ - 如何在 ffmpeg 中使用硬件加速

Question

我需要 ffmpeg 使用硬件加速来解码我的视频(例如 h264)。我正在使用通常的解码帧方式:读取数据包->解码帧。而且我想让 ffmpeg 加快解码速度。所以我用 --enable-vaapi 和 --enable-hwaccel=h264 构建了它。但我真的不知道接下来我该怎么做。我尝试使用 avcodec_find_decoder_by_name("h264_vaapi") 但它返回 nullptr。 无论如何，我可能想使用其他 API 而不仅仅是 VA API。应该如何加快 ffmpeg 解码？

附:我在 Internet 上没有找到任何使用 ffmpeg 和 hwaccel 的示例。

Answer 1

经过一番调查，我能够在 OS X (VDA) 和 Linux (VDPAU) 上实现必要的硬件加速解码。当我掌握 Windows 实现时，我也会更新答案。 所以让我们从最简单的开始:

Mac OS X

要让硬件加速在 Mac OS 上运行，您只需使用以下命令: avcodec_find_decoder_by_name("h264_vda"); 但是请注意，您只能在 Mac OS 上使用 FFmpeg 加速 h264 视频。

Linux VDPAU

在 Linux 上，事情要复杂得多(谁感到惊讶？)。 FFmpeg 在 Linux 上有 2 个硬件加速器:VDPAU(Nvidia) 和 VAAPI(Intel)，只有一个硬件解码器:用于 VDPAU。在上面的 Mac OS 示例中使用 vdpau 解码器似乎是完全合理的: avcodec_find_decoder_by_name("h264_vdpau");

您可能会惊讶地发现它并没有改变任何东西，而且您根本没有加速度。那是因为这只是开始，您必须编写更多代码才能使加速工作。幸运的是，您不必自己想出解决方案:至少有 2 个很好的例子来说明如何实现这一点:libavg和 FFmpeg 本身。 libavg 有 VDPAUDecoder 类，它非常清楚，我的实现基于它。也可以咨询ffmpeg_vdpau.c获得另一个实现进行比较。不过，在我看来，libavg 的实现更容易掌握。

上述两个示例唯一缺少的是将解码帧正确复制到主存储器。这两个示例都使用了 VdpVideoSurfaceGetBitsYCbCr ，它扼杀了我在机器上获得的所有性能。这就是为什么您可能希望使用以下过程从 GPU 中提取数据:

bool VdpauDecoder::fillFrameWithData(AVCodecContext* context,
    AVFrame* frame)
{
    VdpauDecoder* vdpauDecoder = static_cast<VdpauDecoder*>(context->opaque);
    VdpOutputSurface surface;
    vdp_output_surface_create(m_VdpDevice, VDP_RGBA_FORMAT_B8G8R8A8, frame->width, frame->height, &surface);
    auto renderState = reinterpret_cast<vdpau_render_state*>(frame->data[0]);
    VdpVideoSurface videoSurface = renderState->surface;

    auto status = vdp_video_mixer_render(vdpauDecoder->m_VdpMixer,
        VDP_INVALID_HANDLE,
        nullptr,
        VDP_VIDEO_MIXER_PICTURE_STRUCTURE_FRAME,
        0, nullptr,
        videoSurface,
        0, nullptr,
        nullptr,
        surface,
        nullptr, nullptr, 0, nullptr);
    if(status == VDP_STATUS_OK)
    {
        auto tmframe = av_frame_alloc();
        tmframe->format = AV_PIX_FMT_BGRA;
        tmframe->width = frame->width;
        tmframe->height = frame->height;
        if(av_frame_get_buffer(tmframe, 32) >= 0)
        {
            VdpStatus status = vdp_output_surface_get_bits_native(surface, nullptr,
                reinterpret_cast<void * const *>(tmframe->data),
                reinterpret_cast<const uint32_t *>(tmframe->linesize));
            if(status == VDP_STATUS_OK && av_frame_copy_props(tmframe, frame) == 0)
            {
                av_frame_unref(frame);
                av_frame_move_ref(frame, tmframe);
                return;
            }
        }
        av_frame_unref(tmframe);
    }
    vdp_output_surface_destroy(surface);
    return 0;
}

虽然它内部使用了一些“外部”对象，但一旦您实现了“获取缓冲区”部分(上述示例对此有很大帮助)，您应该能够理解它。我也使用了 BGRA 格式，它更适合我的需要，也许你会选择另一种。

所有这些的问题在于，您不能仅通过 FFmpeg 使其工作，您至少需要了解 VDPAU API 的基础知识。我希望我的回答能帮助某人在 Linux 上实现硬件加速。在我意识到在 Linux 上实现硬件加速解码没有简单的单行方式之前，我自己花了很多时间。

Linux VA-API

由于我最初的问题是关于 VA-API，我不能不回答它。 首先，FFmpeg 中没有 VA-API 的解码器，所以 avcodec_find_decoder_by_name("h264_vaapi") 没有任何意义:它是 nullptr。 我不知道通过 VA-API 实现解码有多难(或者可能更简单？)，因为我看到的所有示例都非常令人生畏。所以我选择完全不使用 VA-API，我必须为 Intel 卡实现加速。对我来说幸运的是，有一个 VDPAU 库(驱动程序？)可以在 VA-API 上运行。因此，您可以在 Intel 卡上使用 VDPAU!

我使用过以下 link在我的 Ubuntu 上设置它。

此外，您可能想查看对原始问题的评论，@Timothy_G 还提到了一些有关 VA-API 的链接。