开放能力
开发平台
行业应用
生态合作
开发与教学
资讯 社区 控制台
技术能力
语音技术
图像技术
文字识别
人脸与人体识别
视频技术
AR与VR
自然语言处理
知识图谱
数据智能
场景方案
部署方案
行业应用
智能教育
智能医疗
智能零售
智能工业
企业服务
智能政务
智能农业
信息服务
智能园区
智能硬件
BML 全功能AI开发平台

    公有云部署简介


    公有云部署即将模型中的模型部署为在线服务,从而以REST API的方式提供推理预测能力。

    公有云部署概要

    模型仓库中的模型与公有云部署即在线服务是一一对应的关系,即模型仓库中一个模型包含多个版本时,这些不同的版本只能部署到同一个在线服务中。

    在线服务当前仅允许一个模型版本处于上线状态,若上线时有其它模型版本在线,则会将当前版本下线并上线新的版本。

    对于在线的模型版本,可以执行扩缩容操作。

    服务状态说明

    服务状态及其含义如下所示:

    模型状态 说明
    运行中 服务运行中,会产生费用,当不适用时请下线模型
    休眠中 不占用计算资源,不会产生费用,当有新的请求流量时,系统会自动将模型置为运行状态
    停止 无运行的模型,不占用资源,不产生费用,无法处理新的预测请求
    更新中 当执行模型版本切换时,服务处于更新中的状态
    部署失败 由于暂无资源、模型文件不正确等导致模型部署失败,从而无法提供预测服务
    模型待编辑 尚未配置资源的模型处于该状态

     

    公有云部署支持的模型类型

    模型仓库中的如下类型的模型支持共有云部署:

    • 来自BML训练任务的模型,包括脚本调参、Notbeook以及自定义作业
    • 对于用户从本地导入的模型,则如下类型的模型支持公有云部署:

      • 框架为PaddlePaddle、TensorFlow、PyTorch的深度学习模型
      • 基于Sklearn、XGBoost的机器学习模型

    服务休眠策略

    服务休眠是指若服务在指定的时长内无请求,则释放资源并进入休眠状态,该状态下不会产生费用,当接受到新的请求后,服务会自动恢复到正常状态(约1分钟),但休眠以及恢复过程中,接收的请求无法正常处理。

    休眠策略状态说明:

    休眠策略状态 说明
    未配置休眠策略,新建的服务默认无休眠策略,处于该状态
    生效中 表示当前休眠策略处于有效期内
    未生效 表示当前尚未进入休眠策略的有效期
    已失效 表示当前时间已超出了休眠策略的有效期
    上一篇
    通用模型部署
    下一篇
    公有云部署