ios - AVCaptureSession 视频稳定滞后

Question

之前，我向我的 AVCaptureSession 添加了一个 AVCaptureMovieFileOutput 并启用了电影级 preferredVideoStabilizationMode，收到了很好的预期结果。

我刚刚切换到 AVCaptureVideoDataOutput，电影级稳定性导致了极其明显的延迟——在图像预览更新之前大约有整整一秒的延迟。

设置:

//  Video data output
let outputSettings: [String: Any] = [kCVPixelBufferPixelFormatTypeKey as String: kCVPixelFormatType_32BGRA]
videoDataOutput = AVCaptureVideoDataOutput()
videoDataOutput?.videoSettings = outputSettings
let videoSessionQueue = DispatchQueue(label: "video_capture_session_queue")
videoDataOutput?.setSampleBufferDelegate(self, queue: videoSessionQueue)
videoDataOutput?.alwaysDiscardsLateVideoFrames = true

//  Audio data output
let audioDataOutput = AVCaptureAudioDataOutput()
let audioSessionQueue = DispatchQueue(label: "audio_capture_session_queue")
audioDataOutput.setSampleBufferDelegate(self, queue: audioSessionQueue)

//  Configure session
captureSession.beginConfiguration()

let videoInput = try AVCaptureDeviceInput(device: currentCameraDevice)
captureSession.addInput(videoInput)
captureSession.addOutput(videoDataOutput!)

if let videoDataOutputConnection = videoDataOutput?.connection(with: .video), videoDataOutputConnection.isVideoStabilizationSupported {
    videoDataOutputConnection.preferredVideoStabilizationMode = .cinematic
}

if let audioInput = AVCaptureDevice.default(for: .audio) {
    try captureSession.addInput(AVCaptureDeviceInput(device: audioInput))
    captureSession.addOutput(audioDataOutput)
}

captureSession.commitConfiguration()

captureSession.startRunning()

有没有人有任何见解或解决方案？提前致谢。

Answer 1

对于任何感兴趣的人，这是我经过几天的挖掘后学到的东西:

当渲染到非 AVCaptureVideoPreviewLayer 时，延迟是无法避免的——这基本上是任何时候你运行 AVCaptureVideoDataOutput 来处理单个帧(和 true用于 CI 和 Metal 设置)。

稳定模式 .cinematic 导致最明显的滞后 — ~1 秒。切换到 .standard 可将时间减少到约 1/10 秒，并且产生的结果比根本没有稳定效果要好。