EasyEdge平台Android系统SDK开发文档

    // 请替换为您的序列号
    private static final String SERIAL_NUM = "XXXX-XXXX-XXXX-XXXX"; //这里填您的序列号

    defaultConfig {
        applicationId "com.baidu.ai.easyaimobile.demo" //  修改为比如“com.xxx.xxx"
    }

<activity android:name=".infertest.MainActivity">  <!-- 原始的是".MainActivity" -->
    <intent-filter>
        <action android:name="android.intent.action.MAIN" />

        <category android:name="android.intent.category.LAUNCHER" />
    </intent-filter>
</activity>

+app  简单的设置，模拟用户的项目
|---+libs 实际使用时需要复制到自己的项目里
    |----arm64-v8a v8a的so
    |----armeabi-v7a v7a的so
    |----easyedge-sdk.jar jar库文件
|---+src/main
    |---+assets 
    	|----demo demo项目的配置，实际集成不需要
    	|----infer 也可能是其它命名，infer表示通用arm。实际使用时可以复制到自己的项目里
	|---+java/com.baidu.ai.edge/demo
        |---+infertest 通用Arm精简版测试，里面有SDK的集成逻辑
            |--- MainActivity 通用Arm精简版启动Activity，会根据assets目录判断当前的模型类型，并运行同目录的一个Task。使用时需要修改里面的序列号
            |--- TestInferClassifyTask 通用Arm精简版分类
            |--- TestInferDetectionTask 通用Arm精简版检测
            |--- TestInferOcrTask 通用Arm精简版OCR
            |--- TestInferPoseTask 通用Arm精简版姿态
            |--- TestInferSegmentTask 通用Arm精简版分割
        |---+snpetest SNPE精简版测试
            |--- MainActivity SNPE精简版启动Activity，会根据assets目录判断当前的模型类型，并运行同目录的一个Task。使用时需要修改里面的序列号
            |--- TestSnpeClassifyTask SNPE精简版分类
            |--- TestSnpeDetectionTask SNPE精简版检测
        |---+ddktest DDK精简版测试
            |--- MainActivity DDK精简版启动Activity，会根据assets目录判断当前的模型类型，并运行同目录的一个Task。使用时需要修改里面的序列号
            |--- TestDDKClassifyTask DDK精简版分类
            |--- TestDDKDetectionTask DDK精简版检测
        |---+davincitest Davinci精简版测试
	        |--- MainActivity Davinci精简版启动Activity，会根据assets目录判断当前的模型类型，并运行同目录的一个Task。使用时需要修改里面的序列号
	        |--- TestDavinciClassifyTask Davinci精简版分类
	        |--- TestDavinciDetectionTask Davinci精简版检测
        |----CameraActivity 摄像头扫描示例，里面有SDK的集成逻辑
        |----MainActivity 启动Activity，使用时需要修改里面的序列号
|---- build.gradle 这里修改包名
+camera_ui UI模块，集成时可以忽略 

InferConfig mInferConfig = new InferConfig(getAssets(),
                                "infer");
// assets 目录下的infer，infer表示通用arm

输入：assets下的配置
输出：具体的配置类

String SERIAL_NUM = "XXXX-XXXX-XXXX-XXXX";

// InferManager 为例:
new InferManager(this, config, SERIAL_NUM)); // config为上一步的InferConfig

输入： 1.配置类 ; 2.序列号
输出： Manager类

public interface ClassifyInterface {
    List<ClassificationResultModel> classify(Bitmap bitmap, float confidence) throws BaseException;
    
    // 如InferManger 继承 ClassifyInterface

输入 Bitmap 默认格式或者指定Bitmap.Config.ARGB_8888
输出 ClassificationResultModel
异常：一般首次出现。可以打印出异常错误码。

ClassificationResultModel
- label：分类标签，定义在label_list.txt中
- confidence：置信度，0-1
- lableIndex：标签对应的序号

public interface DetectInterface {
     List<DetectionResultModel> detect(Bitmap bitmap, float confidence) throws BaseException;

    // 如InferManger 继承 DetectInterface

输入 Bitmap 默认格式或者指定Bitmap.Config.ARGB_8888
输出 DetectionResultModel List
异常：一般首次出现。可以打印出异常错误码。

DetectionResultModel
- label：标签，定义在label_list.txt中
- confidence：置信度
- bounds：Rect，左上角和右下角坐标

public interface SegmentInterface {
    List<SegmentationResultModel> segment(Bitmap bitmap, float confidence) throws BaseException;
    // 如InferManger 继承 SegmentInterface

输入 Bitmap 默认格式或者指定Bitmap.Config.ARGB_8888
输出 SegmentationResultModel
异常：一般首次出现。可以打印出异常错误码。

SegmentationResultModel

- label：标签，定义在label_list.txt中
- confidence：置信度
- lableIndex：标签对应的序号
- box: Rect对象表示的对象框
- mask：byte[]表示的原图大小的0，1掩码，绘制1的像素即可得到当前对象区域

mask 字段说明， 如何绘制掩码也可参考demo工程
	    1 0 1
image	1 1 0      =>   mask(byte[])  101 110 011
	    0 1 1

public interface OcrInterface {
    List<OcrResultModel> ocr(Bitmap bitmap, float confidence) throws BaseException;
    // 如InferManger 继承 OcrInterface

输入 Bitmap 默认格式或者指定Bitmap.Config.ARGB_8888
输出 OcrResultModel List，每个OcrResultModel对应结果里的一个四边形。
异常：一般首次出现。可以打印出异常错误码。

OcrResultModel

- label：识别出的文字
- confidence：置信度
- List<Point>：4个点构成四边形

public interface PoseInterface {
    List<PoseResultModel> pose(Bitmap bitmap) throws BaseException;
    // 如InferManger 继承 PoseInterface

输入 Bitmap 默认格式或者指定Bitmap.Config.ARGB_8888
输出 PoseResultModel List
异常：一般首次出现。可以打印出异常错误码。

PoseResultModel

- label：标签，定义在label_list.txt中
- confidence：置信度
- Pair<Point, Point>：2个点构成一条线

 public void destory() throws BaseException

    // 在新线程且同一线程中运行以下代码

    private void testImageFile() throws IOException, BaseException {

       try {
            // 1. 准备配置类
            InferConfig config = new InferConfig(context.getAssets(), "infer");

            // 2. 初始化Manager类
            InferManager manager = new InferManager(context, config, SERIAL_NUM);

            // 3.1 准备图片， 作为Bitmap输入，
            InputStream is2 = context.getAssets().open("test.jpg");
            Bitmap image = BitmapFactory.decodeStream(is2);
            is2.close();
            // 在模型销毁前可以不断调用。但是不支持多线程。
            // 3.2   调用对应的推理方法
            List<DetectionResultModel> results = manager.detect(image, 0.3f);
            // 3.3 解析结果
            for (DetectionResultModel result : results) {
                Log.i("TestInferDectionTask", result.getLabelIndex() + ":" + result.getConfidence() + ":" + result.getBounds());
            }
            //  4. 释放
            manager.destroy();
          
        } catch (Exception e) {
            Log.e("TestInferDetectionTask", "error", e);
        }

    }

    "autocheck_qcom": true, // 如果改成false， sdk跳过检查手机是否是高通的Soc，非高通的Soc会奔溃直接导致app闪退

    "snpe_runtimes_order": [],
// 不填写为自动，按照 {DSP, GPU, GPU_FLOAT16, CPU}次序尝试初始化，也可以手动指定如[2,1,3,0], 具体数字的定义见下段

public interface SnpeRuntimeInterface {
    int CPU = 0;
    int GPU = 1;
    int DSP = 2;
    int GPU_FLOAT16 = 3;
}

// SnpeManager 中，使用public static ArrayList<Integer> getAvailableRuntimes(Context context) 方法可以获取高通SOC支持的运行方式

复制app/libs 至自己项目的app/libs目录。
参照demo的app/build.gradle 中添加

android {
   ....
    defaultConfig {
        ndk {
            abiFilters  'armeabi-v7a', 'arm64-v8a'
        }
    }
   sourceSets {
        main {
            jniLibs.srcDirs = ['libs']
        }
    }
}

easyedge.jar文件同自己的jar文件放一起
arm64-v8a和armeabi-v7a放到app/src/main/jniLibs目录下

参照demo的app/build.gradle 中添加

android {
   ....
    defaultConfig {
        ndk {
            abiFilters  'armeabi-v7a', 'arm64-v8a'
        }
    }

easyedge.jar文件同自己的jar文件放一起
arm64-v8a和armeabi-v7a取交集和自己的so放一起，交集的意思是比如自己的项目里有x86目录，必须删除x86。

参照demo的app/build.gradle 中添加

android {
   ....
    defaultConfig {
        ndk {
            abiFilters  'armeabi-v7a', 'arm64-v8a' // abiFilter取交集，即只能少不能多
        }
    }

<uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" />
-permission android:name="android.permission.INTERNET" />
-permission android:name="android.permission.ACCESS_NETWORK_STATE" />

-keep class com.baidu.ai.edge.core.*.*{ *; }

String basePath = Environment.getExternalStorageDirectory().toString() + "/" + context.getPackageName();
params.setLogDir(basePath + "/xCrash");
// sd卡下 /sdcard/com.baidu.ai.edge.demo/xCrash