ios - react native : Real time camera data without image save and preview

Question

我开始开发我的第一个非演示 react-native 应用程序。我希望它是一个 iOS/Android 应用程序，但实际上我只专注于 iOS。

实际上我有一个问题。如何在不保存到相机胶卷的情况下从相机实时获取数据(base64、像素数组...)。

有这个模块:https://github.com/lwansbrough/react-native-camera但是 base64 已被弃用并且对我来说没用，因为我想要向用户渲染处理过的图像(例如更改图片颜色)，而不是像 react-native-camera 模块那样来自相机的真实图片。

(我知道如何与SWIFT代码通信，但我不知道 native 代码中的选项是什么，我来自WebDev)

非常感谢。

Answer 1

这可能不是最佳的，但这是我一直在使用的。如果有人能提供更好的解决方案，我也将感谢您的帮助!

我的基本想法是简单地循环(但不是简单的 for 循环，见下文)以最大分辨率拍摄 yuv/rgb 格式的静态照片，这是相当快的(正常曝光持续时间为 ~x0ms)并处理它们。基本上你会设置链接到你的相机的 AVCaptureStillImageOutput(跟随教程无处不在)然后将格式设置为 kCVPixelFormatType_420YpCbCr8BiPlanarFullRange(如果你想要 YUV)或 kCVPixelFormatType_32BGRA(如果你喜欢 rgba)像

bool usingYUVFormat = true;
NSDictionary *outputFormat = [NSDictionary dictionaryWithObject:
                [NSNumber numberWithInt:usingYUVFormat?kCVPixelFormatType_420YpCbCr8BiPlanarFullRange:kCVPixelFormatType_32BGRA]
                                           forKey:(id)kCVPixelBufferPixelFormatTypeKey];
[yourAVCaptureStillImageOutput setOutputSettings:outputFormat];

准备好后，就可以开始调用了

AVCaptureConnection *captureConnection=[yourAVCaptureStillImageOutput connectionWithMediaType:AVMediaTypeVideo];
[yourAVCaptureStillImageOutput captureStillImageAsynchronouslyFromConnection:captureConnection  completionHandler:^(CMSampleBufferRef imageDataSampleBuffer, NSError *error) {
    if(imageDataSampleBuffer){
        CVImageBufferRef imageBuffer = CMSampleBufferGetImageBuffer(imageDataSampleBuffer);
        CVPixelBufferLockBaseAddress(imageBuffer, 0);
        // do your magic with the data buffer imageBuffer
        // use CVPixelBufferGetBaseAddressOfPlane(imageBuffer,0/1/2); to get each plane
        // use CVPixelBufferGetWidth/CVPixelBufferGetHeight to get dimensions
        // if you want more, please google
    }
}];

此外，使用 NSNotificationCenter 注册您的拍照操作并在处理完每一帧后发布通知(可能会有一些延迟，以限制您的吞吐量并降低功耗)，以便循环继续进行。

快速预防措施:Android 版本更令人头疼。正如我在 my question 中提出的那样，很少有硬件制造商为最大分辨率的未压缩照片实现 api，但只有 1080p 用于预览/视频。 .我仍在寻找解决方案，但放弃了大部分希望。 JPEG 图像太慢了。