视觉任务模型部署整体说明
更新时间：2023-01-18
模型仓库中的视觉模型可部署在公有云服务器、私有服务器，封装成可离线运行的设备端SDK，或直接购买软硬一体方案，灵活适配各种使用场景及运行环境
您可以点击进入预训练网络与部署方式适配性页面，查询各预训练网络对下表所示的部署方式、硬件、系统的支持情况
| 部署方式 | 支持的硬件 | 支持的系统 |
|---|---|---|
| 公有云部署 | 可集成公有云API即可 | 不限制 |
| 私有服务器部署[私有API] | 通用X86 CPU 英伟达 GPU |
Linux |
| 私有服务器部署[服务器端SDK] | 通用X86 CPU | Linux |
| 英伟达 GPU | Linux/Windows | |
| 通用设备端SDK | 通用ARM | Linux/Android/iOS |
| 海思NNIE | Linux | |
| 华为达芬奇NPU | Android | |
| 华为NPU | Android | |
| 高通骁龙 | Android | |
| 苹果A仿生芯片 | iOS | |
| 通用X86 CPU | Windows | |
| 英特尔®神经计算棒 | Linux/Windows | |
| 专项硬件适配SDK[软硬一体方案] | Baidu-EdgeBoard(FZ) | Linux |
| Baidu-EdgeBoard(VMX) | Linux/Windows | |
| Nvidia-Jetson(Nano/TX2/Xavier) | Linux |
公有云API
训练完成的模型存储在云端，可通过独立Rest API调用模型，实现AI能力与业务系统或硬件设备整合
具有完善的鉴权、流控等安全机制，GPU集群稳定承载高并发请求
支持查找云端模型识别错误的数据，纠正结果并将其加入模型迭代的训练集，不断优化模型效果
私有服务器部署
可将训练完成的模型部署在私有CPU/GPU服务器上，支持私有API和服务器端SDK两种集成方式,可在内网/无网环境下使用模型，确保数据隐私
- 私有API：将模型以Docker形式在本地服务器（仅支持Linux）上部署为http服务，可调用与公有云API功能相同的接口。可纯离线完成部署，服务调用便捷
- 服务器端SDK：将模型封装成适配本地服务器（支持Linux和Windows）的SDK，可集成在其他程序中运行。首次联网激活后即可纯离线运行，占用服务器资源更少，使用方法更灵活 提供基础版、加速版（已支持通用x86、通用ARM芯片）两种版本，可根据业务场景需求选择。
训练完成的模型被打包成适配智能硬件的SDK，可进行设备端离线计算。满足推理阶段数据敏感性要求、更快的响应速度要求
支持iOS、Android、Linux、Windows四种操作系统，基础接口封装完善，满足灵活的应用侧二次开发
软硬一体方案
模型训练完成后，可前往AI市场购买EasyDL&EdgeBoard软硬一体方案
可应用于工业分拣、视频监控等多种设备端离线计算场景，让离线AI落地更轻松。了解更多