EasyDL图像Linux-GPU-加速版SDK集成快速开始

# 1. 首先进入demo目录
# 2. 创建build文件夹并进入
$ mkdir build && cd build
# 3. 执行编译
$ cmake ..
$ make -j3
# 4. 执行安装，把lib文件安装到系统路径，需要sudo权限；也可以选择不执行安装，把lib路径加为环境变量即可
$ sudo make install
# 5. 这时候应该会产出demo编译的可执行文件，直接执行可以查看需要的参数
$ ./easyedge_batch_inference {res_dir} {image/image_dir}
# 或
$ ./easyedge_multi_thread {res_dir} {image/image_dir}
# 或
$ ./easyedge_serving {res_dir} {serial_key} {host, default 0.0.0.0} {port, default 24401}

// 1. 设置序列号
global_controller()->set_licence_key("ABCD-ABCD-ABCD-ABCD");
// 2. 配置运行选项
TensorRTConfig config;
config.model_dir = argv[1];
config.device = 0;            // 设置需要使用的GPU
config.max_batch_size = 4;    // 优化的模型可以支持的最大batch_size，实际单次推理的图片数不能大于此值
config.max_concurrency = 1;   // 设置device对应的卡可以使用的最大线程数
config.fp16 = false;          // 置true开启fp16模式推理会更快，精度会略微降低，但取决于硬件是否支持fp16，不是所有模型都支持fp16，参阅文档
// 3. 创建predictor并初始化
auto predictor = global_controller()->CreateEdgePredictor(config);
predictor->init();
// 4. 执行预测
predictor->infer(imgs, result);

// 配置要使用的显卡id
std::vector<int> devices{0, 1, 2, 3};
// 每个predictor对应一张显卡
std::vector<std::unique_ptr<EdgePredictor>> predictors;
// 配置运行选项
TensorRTConfig config;
config.model_dir = model_dir;
config.max_batch_size = 8;   // 单次预测可以支持的最大batch_size，多个predictor的此值要保持一致
config.max_concurrency = 1;  // 单个device上的最大infer并发量，建议保持为1
config.compile_level = 1;    // 编译模型的策略，如果当前设置的max_batch_size与历史编译存储的不同，则重新编译模型
config.fp16 = false;         // 置true开启fp16模式推理会更快，精度会略微降低，但取决于硬件是否支持fp16，且不是所有模型都支持fp16，参阅开发文档
// 
for(int i = 0; i < predictors.size(); ++i) {
    config.device = devices[i];    // 设置GPU id
    // 创建predictor
    auto predictor = global_controller()->CreateEdgePredictor<TensorRTConfig>(config);
    if (predictor->init() != EDGE_OK) {
        exit(-1);
    }
    predictors.emplace_back(std::move(predictor));
}

// 创建与predictor数量等同线程数的infer_task
std::vector<std::thread> threads;
std::map<int /*predictor index*/, std::vector<std::vector<EdgeResultData>>> results;
for (int i = 0; i < predictors.size(); ++i) {
    assert(split_img_files[i].size() <= config.max_batch_size);
    // infer_task的实现详见demo_multi_thread.cpp，主要功能为执行infer预测
    threads.emplace_back(std::thread(infer_task, std::ref(predictors[i]), std::ref(split_img_files[i]), std::ref(results), i));
}

for (auto& t : threads) {
    if (t.joinable()) {
        t.join();
    }
}

struct TensorRTConfig : public EdgePredictorConfig {
    std::string model_filename{"model"};
    std::string params_filename{"params"};
    std::string cache_name{"m_cache"};
    /**
     * @brief GPU工作空间大小设置
     * workspace_size = workspace_prefix * (1 << workspace_offset)
     * workspace_offset: 10 = KB, 20 = MB, 30 = GB
     */
    int workspace_prefix{16};
    int workspace_offset{20};
    /**
     * @brief 生成最大 batch_size 为 max_batch_size 的优化模型，单次预测图片数量可以小于或等于此值
     */
    int max_batch_size{1};
    /**
     * @brief 设置使用哪张 GPU 卡
     */
    int device{0};
    /**
     * @brief 模型编译等级
     * 0：无论当前设置的max_batch_size是多少，仅使用历史编译产出（如果存在）
     * 1：如果当前max_batch_size与历史编译产出的max_batch_size不相等时，则重新编译模型（推荐）
     * 2：无论历史编译产出的max_batch_size为多少，均根据当前max_batch_size重新编译模型
     */
    int compile_level{1};
    /**
     * @brief 设置device对应的卡可以支持的最大并发量
     * 实际预测的时候对应卡的最大并发量不超过这里设置的范围
     */
    int max_concurrency{1};
    /**
     * @brief 是否开启fp16模式预测，需要硬件支持
     */
    bool fp16{false};
    /**
     * @brief 设置需要使用的DLA Core
     */
    int dla_core{-1};
}

./easyedge_batch_inference {模型RES文件夹}  {测试图片路径或图片文件夹路径}
./easyedge_multi_thread {模型RES文件夹}  {测试图片路径或图片文件夹路径}

// 1. 设置序列号
global_controller()->set_licence_key("ABCD-ABCD-ABCD-ABCD");
// 2. 配置运行选项
TensorRTConfig config;
config.device = 0;
config.model_dir = model_dir;
// 3. 启动服务
return global_controller()->start_http_server(config, host, port, service_id, 1);

./easyedge_serving {res_dir} {serial_key} {host, default 0.0.0.0} {port, default 24401}

import requests

with open('./1.jpg', 'rb') as f:
    img = f.read()
    result = requests.post(
	    'http://127.0.0.1:24401/',
	    params={'threshold': 0.1},
	    data=img).json()