Android:访问硬件相机预览帧数据而不绘制它们

Question

根据来自 Java SDK 端的 android 相机文档，必须为相机预览帧提供一个(可见且 Activity 的)表面，以便绘制到该表面以访问帧数据。我已经链接了我在这里遇到的一些事情(我是新手，所以最多只能有 2 个超链接)，但在结束之前，我浏览了大量关于各种事情的文档，然后在 SO 上发布我自己的问题。

我的问题:

a) 我明确不想将相机预览绘制到屏幕上，我只想尽可能直接从相机缓冲区中获取字节数据(我可以从此处获取)。

b) 是的，我看到了这个: Taking picture from camera without preview .

但是，这要求使用此库的应用程序必须将这个(看似)任意的 View 插入到它们的应用程序布局中，该 View 必须始终可见(它们不能切换布局、更改父容器的可见性或使用子 Activity )在应用程序生命周期中。

其实我的需求和this poster's差不多，除了我想要相机预览数据的连续实时流，而不是保存到磁盘图像的捕获。因此 PictureCallback 与 myCamera.takePicture 调用一起为他工作。出于显而易见的原因，将连续捕获写入磁盘对我来说不是解决方案，所以这对我来说行不通。 myCamera.takePicture 也比获取预览帧慢得多。

c) 我已经开始涉足 NDK，并且对它有了很好的感觉。然而，根据this不支持或不推荐通过 native 访问相机数据，即使那样也会给设备兼容性带来巨大的麻烦。

如果这是过时的，并且有可靠的 NDK 路由从 Android 设备获取相机数据，我找不到它们，所以如果你能向我指出它们，那就太好了。

d) 我想让这个库可以通过像 Unity 这样的工具访问(以统一插件的形式)，为此我希望能够将它编译成一个 JAR(或者 .so 对于 native )并期待它在以这种方式导入库的 Android 应用程序上工作，这样他们就可以在不需要应用程序开发人员的特定 UI/布局配置的情况下使用相机。

上下文:

我希望能够创建一个用于 Android 应用程序的视觉处理库，并且不想限制使用该库的应用程序必须使用特定的应用程序布局并在屏幕上绘制特定的 View 才能使用视觉处理结果 - 举一个非常简单的例子，如果一个应用程序想要使用我的库来获取相机看到的平均颜色，并想要在屏幕上为图像着色该颜色。

无论我能就我所拥有的任何观点提出什么建议，都将非常有帮助。非常感谢您的宝贵时间!

Answer 1

我完全忘记了我提出了这个问题。 2 年和几个 Android SDK 版本之后，我们有了一个工作系统。

我们正在使用扩展的 SurfaceTexture，cameraSurface 以及对所需相机的引用。使用 cameraSurface 的 SurfaceTexture，我们调用

mCamera.setPreviewTexture(mSurfaceTexture);
mCamera.startPreview();

然后从您的 Activity 或您需要的任何地方覆盖当前 Activity 相机的 previewCallback。

mCamera.setPreviewCallback(new PreviewCallback() {

     public void onPreviewFrame(final byte[] data, final Camera camera) {
         // Process the contents of byte for whatever you need
     }
});

这使您能够持续处理相机所看到的内容，而不仅仅是浏览存储的图像。当然，这将限于您相机的预览分辨率(可能不同于静态捕获或视频分辨率)。

如果我有时间，我会尝试制作一个准系统工作演示。

编辑:我链接到的 SDK 不再免费提供。您仍然可以通过 BitGym contact page 请求一个.