Android-SDK

.EasyEdge-Android-SDK
├── app
│   ├── src/main
│   │   ├── assets
│   │   │   ├── demo					# demo配置文件夹
│   │   │   │   └── conf.json
│   │   │   ├── infer					# 模型资源文件夹
│   │   │   │   ├── model
│   │   │   │   ├── params
│   │   │   │   ├── label_list.txt
│   │   │   │   └── infer_cfg.json
│   │   ├── java/com.baidu.ai.edge/demo
│   │   │   ├── infertest				# 通用ARM精简版测试
│   │   │   │   ├── TestInferClassifyTask.java		# 图像分类
│   │   │   │   ├── TestInferDetectionTask.java 	# 物体检测
│   │   │   │   ├── TestInferSegmentTask.java		# 实例分割
│   │   │   │   ├── TestInferPoseTask.java			# 姿态估计
│   │   │   │   ├── TestInferOcrTask.java			# OCR
│   │   │   │   └── MainActivity.java				# 精简版启动 Activity
│   │   │   ├── MainActivity.java		# Demo APP 启动 Activity
│   │   │   ├── CameraActivity.java		# 摄像头UI逻辑
│   │   │   └── ...
│   │   └── ...
│   ├── libs
│   │   ├── armeabi-v7a			# v7a的依赖库
│   │   ├── arm64-v8a			# v8a的依赖库
│   │   └── easyedge-sdk.jar 	# jar文件
│   └── ...
├── camera_ui	# UI模块，包含相机逻辑
├── README.md
└── ... 		# 其他 gradle 等工程文件

<!-- 以通用ARM为例 -->
<activity android:name=".infertest.MainActivity">
	<intent-filter>
		<action android:name="android.intent.action.MAIN" />
        <category android:name="android.intent.category.LAUNCHER" />
    </intent-filter>
</activity>

// 1. 复制 app/libs 至项目的 app/libs 目录
// 2. 参考 app/build.gradle 配置 NDK 可用架构和 so 依赖库目录

android {
	...
	defaultConfig {
		ndk {
            abiFilters 'armeabi-v7a', 'arm64-v8a'
        }
	}
	sourceSets {
		main {
            jniLibs.srcDirs = ['libs']
        }
	}
}

// 1. 复制 app/libs/easyedge-sdk.jar 与其他 jar 包同目录
// 2. 复制 app/libs 下 armeabi-v7a 和 arm64-v8a 目录至 app/src/main/jniLibs 目录下
// 3. 参考 app/build.gradle 配置 NDK 可用架构

android {
	...
	defaultConfig {
		ndk {
            abiFilters 'armeabi-v7a', 'arm64-v8a'
        }
	}
}

// 1. 复制 app/libs/easyedge-sdk.jar 与其他 jar 包同目录
// 2. 融合 app/libs 下 armeabi-v7a 和 arm64-v8a 下的 so 文件与其他同架构 so 文件同目录
// 3. 参考 app/build.gradle 配置 NDK 可用架构

android {
	...
	defaultConfig {
		ndk {
            abiFilters 'armeabi-v7a', 'arm64-v8a'    // 只支持 v7a 和 v8a 两种架构，有其他架构需删除
        }
	}
}

<uses-permission android:name="android.permission.ACCESS_NETWORK_STATE"/>
<uses-permission android:name="android.permission.INTERNET"/>
<uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE"/>

-keep class com.baidu.ai.edge.core.*.*{ *; }

try {
	// step 1: 准备配置类
	InferConfig config = new InferConfig(context.getAssets(), "infer");
	
	// step 2: 准备预测 Manager
	InferManager manager = new InferManager(context, config, "");
	
	// step 3: 准备待预测的图像，必须为 Bitmap.Config.ARGB_8888 格式，一般为默认格式
	Bitmap image = getFromSomeWhere();
	
	// step 4: 预测图像
	List<ClassificationResultModel> results = manager.classify(image, 0.3f);
	
	// step 5: 解析结果
	for (ClassificationResultModel resultModel : results) {
		Log.i(TAG, "labelIndex=" + resultModel.getLabelIndex() 
				+ ", labelName=" + resultModel.getLabel() 
				+ ", confidence=" + resultModel.getConfidence());
	}

	// step 6: 释放资源。预测完毕请及时释放资源
	manager.destroy();
} catch (Exception e) {
	Log.e(TAG, e.getMessage());
}

// 示例
// 参数二为芯片对应的模型资源文件夹名称
InferConfig config = new InferConfig(context.getAssets(), "infer");

// 示例
// 参数二为配置类对象
// 参数三保持空字符串即可
InferManager manager = new InferManager(context, config, "");

// 预测函数
List<ClassificationResultModel> classify(Bitmap bitmap) throws BaseException;
List<ClassificationResultModel> classify(Bitmap bitmap, float confidence) throws BaseException;

// 返回结果
ClassificationResultModel
- label: 分类标签，定义在label_list.txt中
- labelIndex: 分类标签对应的序号
- confidence: 置信度，0-1

// 预测函数
List<DetectionResultModel> detect(Bitmap bitmap) throws BaseException;
List<DetectionResultModel> detect(Bitmap bitmap, float confidence) throws BaseException;

// 返回结果
DetectionResultModel
- label: 标签，定义在label_list.txt中
- confidence: 置信度，0-1
- bounds: Rect，包含左上角和右下角坐标，指示物体在图像中的位置

// 预测函数
List<SegmentationResultModel> segment(Bitmap bitmap) throws BaseException;
List<SegmentationResultModel> segment(Bitmap bitmap, float confidence) throws BaseException;

// 返回结果
SegmentationResultModel
- label: 标签，定义在label_list.txt中
- confidence: 置信度，0-1
- lableIndex: 标签对应的序号
- box: Rect，指示物体在图像中的位置
- mask: byte[]，表示原图大小的0，1掩码，绘制1的像素即可得到当前对象区域
- maskLEcode: mask的游程编码

// 预测函数
List<PoseResultModel> pose(Bitmap bitmap) throws BaseException;

// 返回结果
PoseResultModel
- label: 标签，定义在label_list.txt中
- confidence: 置信度，0-1
- points: Pair<Point, Point>, 2个点构成一条线

// 预测函数
List<OcrResultModel> ocr(Bitmap bitmap) throws BaseException;
List<OcrResultModel> ocr(Bitmap bitmap, float confidence) throws BaseException;

// 返回结果
OcrResultModel
- label: 识别出的文字
- confidence: 置信度，0-1
- points: List<Point>, 文字所在区域的点位

{
    "version": 1,
    "model_info": { 
        "best_threshold": 0.3,   // 默认0.3
        "model_kind": 1, // 【必须】 1-分类，2-检测，6-实例分割，14-语义分割，401-人脸，402-姿态
    },
    "pre_process": { // 【必须】
        // 归一化， 预处理会把图像 (origin_img - mean) * scale 
        "skip_norm": false, // 默认为false, 如果设置为true，不做mean scale处理
        "mean": [123, 123, 123],  // 【必须】
        "scale": [0.017, 0.017, 0.017],  // 【必须】
        "color_format": "RGB", // BGR 【必须】
        "channel_order": "CHW", // HWC
        // 大小相关
        "resize": [300, 300],  // w, h 【必须】
        "rescale_mode": "keep_size", // 默认keep_size， keep_ratio, keep_ratio2, keep_raw_size, warp_affine
        "max_size": 1366, // keep_ratio 用。如果没有提供，则用 resize[0]
        "target_size": 800,  // keep_ratio 用。如果没有提供，则用 resize[1]
        "raw_size_range": [100, 10000], // keep_raw_size 用
        "warp_affine_keep_res": // warp_affine模式使用，默认为false
        "center_crop_size": [224, 224]， // w, h, 如果需要做center_crop，则提供，否则，无需提供该字段
        "padding": false,
        "padding_mode": "padding_align32",  // 【非必须】默认padding_align32, 其他可指定：padding_fill_size
        "padding_fill_size": [416, 416], // 【非必须】仅padding_fill_size模式下需要提供, [fill_size_w, fill_size_h], 这里padding fill对齐paddle detection实现，在bottom和right方向实现补齐
        "padding_fill_value": [114, 114, 114] // 【非必须】仅padding_fill_size模式下需要提供
        // 其他
        "letterbox": true,
        "ocr_rec_resize": [320, 48], // 【非必须】仅ocr需提供
        "ocr_rec_batch_num": 6, // 【非必须】仅ocr需提供，默认为1
     }
}

// 1. 引入 app/build.gradle 的 xCrash 依赖
android {
	...
	dependencies {
		implementation 'com.iqiyi.xcrash:xcrash-android-lib:2.4.5' // 可以保存崩溃信息，默认未引入
		...
	}
}

// 2. 启用日志收集。日志将保存在 /sdcard/<包名>/xCrash
// app/src/main/java/com.baidu.ai.edge/demo/MyApplication.java
protected void attachBaseContext(Context context) {
	// 日志保存位置
	String basePath = Environment.getExternalStorageDirectory().toString() + "/" + context.getPackageName();
	// 启用
    XCrash.InitParameters params = new XCrash.InitParameters();
    params.setAppVersion(BaseManager.VERSION);
    params.setLogDir(basePath + "/xCrash");
    XCrash.init(this, params);
}