我使用 AVAssetWriter
和 CMSampleBuffer
数据(来自视频、音频输入)录制视频(.mp4 文件)。
在录制时我想处理帧,我正在将 CMSampleBuffer
转换为 CIImage
并对其进行处理。
但是如何使用来自 CIImage
的新处理图像缓冲区更新 CMSampleBuffer
?
func captureOutput(_ output: AVCaptureOutput, didOutput sampleBuffer: CMSampleBuffer, from connection: AVCaptureConnection) {
if output == videoOutput {
let imageBuffer: CVPixelBuffer = CMSampleBufferGetImageBuffer(sampleBuffer)!
let ciimage: CIImage = CIImage(cvPixelBuffer: imageBuffer)
... // my code to process CIImage (for example add augmented reality)
// but how to convert it back to CMSampleBuffer?
// because AVAssetWriterInput to encode video/audio in file needs CMSampleBuffer
...
}
...
}
最佳答案
您需要使用 CIContext 的 render(_:to:bounds:colorSpace:)
将 CIImage 渲染到 CVPixelBuffer 中方法。
然后您可以使用例如 CVPixelBuffer 创建一个 CMSampleBuffer CMSampleBufferCreateReadyWithImageBuffer(_:_:_:_:_:)
出于效率原因,您可能需要使用 CVPixelBuffer 池,Apple 的 AVCamPhotoFilter 示例代码中显示了一个示例。特别是,请参阅 RosyCIRenderer class .
另请参阅可能对您有帮助的答案Applying a CIFilter to a Video File and Saving it
关于ios - CIImage 回到 CMSampleBuffer,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49053547/