公有云部署简介

更新时间：2023-01-18

公有云部署即将模型中的模型部署为在线服务，从而以REST API的方式提供推理预测能力。

模型仓库中的模型与公有云部署即在线服务是一一对应的关系，即模型仓库中一个模型包含多个版本时，这些不同的版本只能部署到同一个在线服务中。

在线服务当前仅允许一个模型版本处于上线状态，若上线时有其它模型版本在线，则会将当前版本下线并上线新的版本。

对于在线的模型版本，可以执行扩缩容操作。

服务状态及其含义如下所示：

模型状态	说明
运行中	服务运行中，会产生费用，当不适用时请下线模型
休眠中	不占用计算资源，不会产生费用，当有新的请求流量时，系统会自动将模型置为运行状态
停止	无运行的模型，不占用资源，不产生费用，无法处理新的预测请求
更新中	当执行模型版本切换时，服务处于更新中的状态
部署失败	由于暂无资源、模型文件不正确等导致模型部署失败，从而无法提供预测服务
模型待编辑	尚未配置资源的模型处于该状态

模型仓库中的如下类型的模型支持共有云部署：

来自BML训练任务的模型，包括脚本调参、Notbeook以及自定义作业
对于用户从本地导入的模型，则如下类型的模型支持公有云部署：
- 框架为PaddlePaddle、TensorFlow、PyTorch的深度学习模型
- 基于Sklearn、XGBoost的机器学习模型

服务休眠是指若服务在指定的时长内无请求，则释放资源并进入休眠状态，该状态下不会产生费用，当接受到新的请求后，服务会自动恢复到正常状态（约1分钟），但休眠以及恢复过程中，接收的请求无法正常处理。

休眠策略状态说明：