EasyEdge平台Linux系统SDK开发文档-Python

更新时间：2023-06-28

简介

本文档介绍 EasyEdge 的 Linux Python SDK 的使用方法。

网络类型支持：图像分类，物体检测，图像分割，声音分类
硬件支持：
- Linux x86_64 CPU
- Linux x86_64 Nvidia GPU
- Intel Movidius MyRIAD2 / MyRIAD X
语言支持：Python 3.5, 3.6, 3.7

Release Notes

时间	版本	说明
2023-03-16	1.3.7	迭代升级，新增支持文本类模型; 新增GPU 多卡多进程推理demo
2021.10.20	1.2.6	适用英特尔至强、酷睿、凌动处理器推理引擎优化升级
2020.12.18	1.2.0	推理引擎升级；接口升级
2020.08.11	1.1.18	性能优化
2020.06.23	1.1.17	支持更多EasyDL专业版模型
2020.04.16	1.1.15	技术优化；升级 OpenVINO 版本
2020.03.12	1.1.14	新增声音识别python sdk
2020.02.12	1.1.13	新增口罩模型支持
2020.01.16	1.1.12	预测函数默认使用推荐阈值
2019.12.26	1.1.11	EasyDL 专业版支持 SDK 加速版
2019.12.04	1.1.10	支持图像分割
2019.10.21	1.1.9	支持 EasyDL 专业版
2019.08.29	1.1.8	CPU 加速版支持
2019.07.19	1.1.7	提供模型更新工具
2019.05.16	1.1.3	NVIDIA GPU 支持
2019.03.15	1.1.0	架构与功能完善
2019.02.28	1.0.6	引擎功能完善
2019.02.13	1.0.5	paddlepaddle 支持
2018.11.30	1.0.0	第一版！

2020-12-18: 【接口升级】序列号的配置接口从1.2.0版本开始已升级为新接口，以前的方式被置为deprecated，并将在未来的版本中移除。请尽快考虑升级为新的接口方式，具体使用方式可以参考下文介绍以及demo工程示例，谢谢。

快速开始

1. 安装依赖

根据引擎的不同，SDK 依赖了不同的底层引擎。根据所需自行安装。

安装 paddlepaddle

使用x86_64 CPU预测时必须安装：

pip3 install -U paddlepaddle

若 CPU 为特殊型号，如赛扬处理器（一般用于深度定制的硬件中），请关注 CPU 是否支持 avx 指令集。如果不支持，请在paddle官网安装 noavx 版本

使用NVIDIA GPU预测时必须安装：

	 - CUDA
	 - CuDNN
	 - PaddlePaddle预测库

pip3 install -U paddlepaddle-gpu

如果环境非 cuda9 cudnn7，请参考paddle文档安装合适的 paddle 版本。不被 paddle 支持的 cuda 和 cudnn 版本，EasyEdge 暂不支持

安装 OpenVINO

使用Intel Movidius SDK 预测时，必须安装 OpenVINO 预测引擎，两种方式：

使用 OpenVINO™ toolkit 安装，请参考 OpenVINO toolkit 文档安装 2020.3.1LTS（必须）版本, 安装时可忽略Configure the Model Optimizer及后续部分。
使用源码编译安装，请参考 Openvino Inference Engine文档编译安装 2020.3.1（必须）版本。

配置 OpenVINO

使用英特尔至强、酷睿、凌动处理器SDK 预测时，无需安装 OpenVINO 预测引擎，但要进行如下配置：

1）下载SDK zip包解压，从cpp sdk里找到集成的推理库OpenVINO

## 解压cpp sdk
cd cpp
tar zxvf baidu_easyedge_linux_cpp_x86_64_CPU.Turbo.Vino2020_gccX.X_vX.X.X_XXXX.tar.gz
## 找到推理库OpenVINO
cd baidu_easyedge_linux_cpp_x86_64_CPU.Turbo.Vino2020_gccX.X_vX.X.X_XXXX/thirdparty/openvino
export OPENVINO_DIR=$(pwd)

2）运行之前，设置环境变量

source $OPENVINO_DIR/bin/setupvars.sh

此部分配置与Intel Movidius SDK使用无关 python版本要求：>=3.6

2. 安装 easyedge python wheel 包

pip3 install -U BaiduAI_EasyEdge_SDK-{版本号}-cp{3x}-cp{3x}m-linux_x86_64.whl

具体名称以 SDK 包中的 whl 为准。

3. 使用序列号激活

获取序列号

修改demo.py 填写序列号

pred = edge.Program()
pred.set_auth_license_key("这里填写序列号")

4. 测试 Demo

输入对应的模型文件夹（默认为RES）和测试图片路径，运行：

python3 demo.py {model_dir} {image_name.jpg}

测试效果：

使用说明

使用流程

import BaiduAI.EasyEdge as edge

pred = edge.Program()
pred.set_auth_license_key("这里填写序列号")
pred.init(model_dir={RES文件夹路径}, device=edge.Device.CPU, engine=edge.Engine.PADDLE_FLUID)
pred.infer_image({numpy.ndarray的图片})
pred.close()

初始化

接口

    def init(self,
            model_dir,
            device=Device.LOCAL,
            engine=Engine.PADDLE_FLUID,
            config_file='conf.json',
            preprocess_file='preprocess_args.json',
            model_file='model',
            params_file='params',
            graph_file='graph.ncsmodel',
            label_file='label_list.txt',
            device_id=0
            ):
       """
       Args:
           device: Device.CPU
           engine: Engine.PADDLE_FLUID
           model_dir: str
               model dir
           preprocess_file: str
           model_file: str
           params_file: str
           graph_file: str
           label_file: str
           device_id: int

       Raises:
           RuntimeError, IOError
       Returns:
           bool: True if success

       """

使用 NVIDIA GPU 预测时，必须满足：

机器已安装 cuda, cudnn
已正确安装对应 cuda 版本的 paddle 版本
通过设置环境变量FLAGS_fraction_of_gpu_memory_to_use设置合理的初始内存使用比例

使用 CPU 预测时，可以通过在 init 中设置 thread_num 使用多线程预测。如：

pred.init(model_dir=_model_dir, device=edge.Device.CPU, engine=edge.Engine.PADDLE_FLUID, thread_num=1)

预测图像

接口

    def infer_image(self, img,
                   threshold=0.3,
                   channel_order='HWC',
                   color_format='BGR',
                   data_type='numpy'):
       """

       Args:
           img: np.ndarray or bytes
           threshold: float
               only return result with confidence larger than threshold
           channel_order: string
               channel order HWC or CHW
           color_format: string
               color format order RGB or BGR
           data_type: string
               image data type
           
       Returns:
           list

       """

返回格式: [dict1, dict2, ...]

字段	类型	取值	说明
confidence	float	0~1	分类或检测的置信度
label	string		分类或检测的类别
index	number		分类或检测的类别
x1, y1	float	0~1	物体检测，矩形的左上角坐标 (相对长宽的比例值)
x2, y2	float	0~1	物体检测，矩形的右下角坐标（相对长宽的比例值）

关于矩形坐标

x1 * 图片宽度 = 检测框的左上角的横坐标

y1 * 图片高度 = 检测框的左上角的纵坐标

x2 * 图片宽度 = 检测框的右下角的横坐标

y2 * 图片高度 = 检测框的右下角的纵坐标

可以参考 demo 文件中使用 opencv 绘制矩形的逻辑。

结果示例

i) 图像分类

{
    "index": 736,
    "label": "table",
    "confidence": 0.9
}

ii) 物体检测

{
    "y2": 0.91211,
    "label": "cat",
    "confidence": 1.0,
    "x2": 0.91504,
    "index": 8,
    "y1": 0.12671,
    "x1": 0.21289
}

FAQ

Q: 运行时报错 "非法指令" 或 " illegal instruction"

A: 可能是 CPU 缺少 avx 指令集支持，请在paddle官网下载 noavx 版本覆盖安装

Q: NVIDIA GPU预测时，报错显存不足：

A: 如以下错误字样：

paddle.fluid.core.EnforceNotMet: Enforce failed. Expected allocating <= available, but received allocating:20998686233 > available:19587333888.
Insufficient GPU memory to allocation. at [/paddle/paddle/fluid/platform/gpu_info.cc:170]

请在运行 Python 前设置环境变量，通过export FLAGS_fraction_of_gpu_memory_to_use=0.3来限制SDK初始使用的显存量，0.3表示初始使用30%的显存。如果设置的初始显存较小，SDK 会自动尝试 allocate 更多的显存。

Q: 我想使用多线程预测，怎么做？

如果需要多线程预测，可以每个线程启动一个Progam实例，进行预测。 demo.py文件中有相关示例代码。

注意：对于CPU预测，SDK内部是可以使用多线程，最大化硬件利用率。参考init的thread_num参数。

Q: 运行SDK报错 Authorization failed

情况一：日志显示 `Http perform failed: null respond`

在新的硬件上首次运行，必须联网激活。

SDK 能够接受HTTP_PROXY 的环境变量通过代理处理自己的网络请求。如

export HTTP_PROXY="http://192.168.1.100:8888"
./easyedge_demo ...

情况二：日志显示`failed to get/check device id(xxx)`或者`Device fingerprint mismatch(xxx)`

此类情况一般是设备指纹发生了变更，包括（但不局限于）以下可能的情况：

MAC地址变化
磁盘变更
BIOS重刷

以及系统相关信息。

遇到这类情况，请确保硬件无变更，如果想更换序列号，请先删除 ~/.baidu/easyedge 目录，再重新激活。

Linux-C++

EdgeBoard