java - Android 中的 Opencv ANN_MLP 训练

Question

我已经在 opencv C++ 中实现了一个 ANN 字符分类器。我创建了一个模型:

        cv::Mat layers(3,1,CV_32S);
        layers.at<int>(0,0) = ATTRIBUTES;//400
        layers.at<int>(1,0)=25;//hidden layer
        layers.at<int>(2,0) =CLASSES;// eg. 10

        CvANN_MLP nnetwork(layers, CvANN_MLP::SIGMOID_SYM,0.6,1);

        CvANN_MLP_TrainParams params(
           cvTermCriteria(CV_TERMCRIT_ITER+CV_TERMCRIT_EPS, 1000, 0.000001),
                                        CvANN_MLP_TrainParams::BACKPROP,
                                        0.1, 0.1);
        int iterations = nnetwork.train(training_set, training_set_classifications,cv::Mat(),cv::Mat(),params);
        CvFileStorage* storage = cvOpenFileStorage( "C:\\example\\myModel.xml", 0, CV_STORAGE_WRITE );
        nnetwork.write(storage,"OCR");
        cvReleaseFileStorage(&storage);

现在，我的模型存储在 C:/example/myModel.xml 当我想使用 ANN 分类器时，我在 C++ 中使用以下代码:

CvANN_MLP nnetwork;

CvFileStorage* storage = cvOpenFileStorage("C:\\example\\myModel.xml", 0, CV_STORAGE_READ );
CvFileNode *n = cvGetFileNodeByName(storage,0,"OCR");
nnetwork.read(storage,n);
cvReleaseFileStorage(&storage);

现在我可以使用 nnetwork.predict() 对我的角色进行分类。我的问题在这里，我想在 Android 中拥有相同的分类器。但是，我不知道如何在 Android 的 myModel.xml 中加载模型。我正在使用 opencv 3.0.0，但在 Android opencv 中找不到 CvFileStorage 的 Java 对应部分。我不知道如何在 Java 中使用 FileStorage。 请帮助我。

Answer 1

我发现没有

CvFileStorage

支持 opencv4android。但是，如果你跳过jni，你可以做任何你想做的事。我正在使用 Android Studio，但我很难找到解决方案。

将jni和opencv连接到android有一个近乎复杂的过程。我讨论整个过程如下:

第 1 步。在您的 android 项目中创建一个新类。将其称为 linkToNative。 添加从 jni 读取字符串的 native 方法。

package com.example.yourname.yourproject;

public class linkToNative {

    public native String compare(long src,long dest);

    static {
        System.loadLibrary("compare");
    }

}

还有一件事，将您的 native 模块引入到您的应用程序文件夹中的 glradle.build 中。因此，您的 gradle defaultConfig 范围将是这样的:

defaultConfig {
        applicationId "com.example.yourname.yourproject"
        minSdkVersion 10
        targetSdkVersion 22
        versionCode 1
        versionName "1.0"

        ndk{
            moduleName 'compare'
                   }
    }

第 2 步。构建您的项目

第 3 步。使用 javah 创建您的 header 。为此，在您的终端中，导航至 [您的项目根目录]/app/src/main 并键入:

javah -d jni -classpath [Your Android sdk root directory]/platforms/android-19/android.jar;../../build/intermediates/classes/debug com.example.yourname.yourproject.linkToNative

• 请注意，如果您将其他包导入到myClass.java 中，则需要将相应的java 或jar 文件添加到类路径搜索区域中。在使用 opencv 包装器的情况下，请参阅 THIS .

第四步。在javah创建的jni文件夹中，你应该制作你的cpp[我强烈推荐cpp]文件。我创建了一个简单的如下:

#include <com.example.yourname.yourproject.linkToNative.h>

JNIEXPORT jstring JNICALL Java_com_example_yourname_yourproject_linkToNative_compare
(JNIEnv *env, jobject obj, jlong src, jlong dest){
return env->NewStringUTF("hello, I'm jni");
}

转到新创建的 jni 文件夹并创建两个名为 Android.mk 和 Application.mk 的文件，如下所示:

安卓.mk

LOCAL_PATH := $(call my-dir)

   include $(CLEAR_VARS)


    OPENCVROOT:= [PATH/TO/Your/Opencv4android/Directory]
    OPENCV_CAMERA_MODULES:=off
    OPENCV_INSTALL_MODULES:=on
    OPENCV_LIB_TYPE:=SHARED
    LOCAL_C_INCLUDE := ${OPENCVROOT}/sdk/native/jni/include/
    include ${OPENCVROOT}/sdk/native/jni/OpenCV.mk
    LOCAL_LDLIBS += -llog -lstdc++ -lz
    LOCAL_MODULE    := compare
    LOCAL_SRC_FILES := compare.cpp
    include $(BUILD_SHARED_LIBRARY)

应用程序.mk

APP_STL := gnustl_static
APP_CPPFLAGS := -frtti -fexceptions
APP_ABI := armeabi-v7a
APP_PLATFORM := android-19

现在您可以使用 ndk-build 交叉编译您的 native 代码。您应该已经下载了 NDK 并预先将其解压缩。然后，转到您的终端，导航到应用程序文件夹并写下以下代码:

[YOUR NDK FOLDER]\ndk-build.cmd NDK_PROJECT_PATH=build/intermediates/ndk NDK_LIBS_OUT=src/main/jniLibs APP_BUILD_SCRIPT=src/main/jni/Android.mk  NDK_APPLICATION_MK=src/main/jni/Application.mk

请注意，如果您使用的是 linux 或 mac 平台，请将 .cmd 从上述命令中删除。等待代码编译并运行您的项目。现在，您可以在 java 中运行代码。 每次更改 cpp 文件时，都应按上述方式编译 jni 代码。如果你想摆脱这个，as gradle 通过在其中定义一个任务来做到这一点。提供了一个很好的教程来做到这一点 HERE .

在opencv3中调用StatModel

StatModel 在 opencv3 中有所改变。这是加载模型并根据testClass预测一个类的代码。事先，在您的 cpp 文件中包含以下库。

#include <opencv/cv.h>
#include "opencv2/opencv.hpp"
#include "opencv2/core/core.hpp"
#include "opencv2/highgui/highgui.hpp"
#include "opencv2/imgproc/imgproc.hpp"
#include "opencv2/objdetect/objdetect.hpp"
#include <opencv2/ml/ml.hpp>

现在，这是剩余的代码。

#define CLASSES 10
using namespace cv;
using namespace cv::ml;

JNIEXPORT jstring JNICALL Java_com_example_yourname_yourproject_linkToNative_compare
  (JNIEnv *env, jobject obj, jlong addrGray , jlong dest){
  Mat* srcMat = (Mat*) src;
  Mat* destMat = (Mat*) dest;
  Mat ref = pMatYr->clone();
  Ptr<ANN_MLP> model=StatModel::load<ANN_MLP>("/storage/emulated/0/ALPR/param.xml");
  cv::Mat outputArray(1,CLASSES,CV_8U);
  //
  Your code that creates testClass according to srcMat 
  .
  .
  //
  model->predict(testClass,outputArray)

  return env->NewStringUTF("YOUR MSG!");
  }

有关 STatModel 的更多信息，请阅读 documentation page .