创建自动搜索作业
创建自动搜索作业
1.前提条件
2.新建作业
3.使用自动搜索作业训练模型
3.1 基本信息
3.2 算法配置
3.3 数据集配置
3.4 自动搜索配置
3.5 资源配置
3.6 查看搜索结果及可视化
4.发布模型
前提条件
- 自定义作业需要依赖于BOS对象存储读取输入文件,创建自定义作业之前需要保证您已经开通了BOS对象存储的服务。
- 授权自定义作业读写您的BOS对象存储,以顺利进行自定义作业的配置。
- 在BOS中存储创建Bucket,并且存储用于训练的代码文件和数据集,创建一个空文件夹用于存储代码的输出文件。
新建作业
- 在导航栏选择『自定义作业-自动搜索作业』,进入自动搜索作业的列表页。
- 点击『新建作业』,进入配置自动搜索作业流程
使用自动搜索作业训练模型
自动搜索作业提供了多种开源框架、搜索算法以及优质的训练资源。您可以上传代码文件,数据集到BOS对象存储,通过自动搜索作业完成训练后,平台提供了每组超参数组合的参数值及其对应的模型评估指标、训练结果会输出到BOS中的指定输出目录,同时您也可以通过链接进入可视化界面查看具体搜索结果。
基本信息
填写作业名称和备注信息
算法配置
- 选择算法框架:选择训练代码文件使用的算法框架,目前BML支持Paddle,TensorFlow,Pytorch,Sklearn,XGBoost五种主流算法框架。
- 选择代码文件:从BOS对象存储中选取代码文件,完成代码录入。单击文件夹符号,从弹窗中选择bucket及文件夹。双击bucket或者单击『>』图标,即可进入下一级。
-
代码文件要求如下:
- 选取对象可以是一个文件或者文件夹
- 所选代码文件必须与所选算法框架对应,所选路径必须包含适配自动搜索作业代码编写规范的代码文件,查看代码文件编写规范(链接到代码文件编写规范)。
-
输入启动命令,支持python和shell两类脚本:
- 当代码文件项选择一个单独文件时,启动命令指向该启动文件
- 当代码文件项选择一个文件夹时,启动命令需指向该文件夹下的特定启动脚本,例如bash bml_job.sh
-
可选高级配置。提交训练作业时,可以通过高级配置来自定义环境变量。
- 手动配置:通过手动填写环境变量来配置,包括配置变量名称与对应取值。
- YAML文件:通过上传YAML文件来配置环境变量,支持本地上传和BOS存储导入两种方式。注意:环境变量最多配置100组,平台将在解析时对超出部分做自动截断处理。
此外,BML平台亦提供预置环境变量,由BML平台预先定义,不建议您自行覆盖修改。
预置环境变量
作业类型 | 变量名 | 变量含义 | 示例 | 默认值 |
自动搜索作业 | MANAGER_ADDRESS | 管理自动搜索作业节点exp-manager的svc地址 | 172.16.227.135:8888 | 无 |
NVIDIA_VISIBLE_DEVICES | 训练节点可见的gpu卡设备 | GPU-ae58e6cc-1dec-bcb9-820c-e433d01afda6 | 无 | |
PYTHONPATH | 训练任务节点汇报训练结果管理节点的sdk路径 | /home/sdk/output | /home/sdk/output |
数据集配置
自动搜索作业数据集配置方式是从BOS中选取数据集。在弹出的对话框中选择数据集对应的bucket和文件夹。注:选择的数据集路径与代码训练时传入代码的训练集、测试集路径一致。为保证训练效率,最好将数据存放在压缩包内。
自动搜索配置
- 配置方式:
- 手动配置:用户需要在平台上手动选择搜索策略以及配置对应的参数。
- yaml文件:用户可以通过yaml文件来设置自动搜索配置,文件上传方式分为本地上传与从BOS中选取两种。
- 搜索策略:
自动搜索作业目前提供了5种搜索算法,见搜索算法简介。
- 参数配置:
- 选择搜索策略后,参数配置表格会提供对应的参数进行选择,其中关于搜索算法的参数说明见搜索算法简介。
-
非搜索参数的说明如下:
- 数据采样比例:超参搜索需要进行多个模型的训练,因此为了提高效率,减少总的搜索耗时,可以设置训练集的数据采样比例。
- 评价指标:用户在代码中可以自定义评价指标的计算方式,只需要在平台参数配置表格中填写评价指标的名称、优化方向(最大值/最小值)以及早停指标即可。下图是一个填写实例,评价指标:acc,最大值优化,当搜索实验的某个训练结果,acc的数值达到100%时,终止整个自动搜索任务。
-
搜索参数:用户需要将待搜索的超参数填入显示框内,搜索参数的名称需要与代码中的名称保持严格一致!如搜索任务中有多个参数需要搜索,点击『+添加参数』即可,如下为搜索参数的参数类型以及对应的取值范围说明:
- 随机整数:参数范围中填写搜索参数的上下界,算法在其中随机取整。
- 离散值:参数范围中填写搜索参数的所有可能取值,以英文逗号隔开,算法会随机从中取值。
- 平均采样:参数范围中填写搜索参数的上下界,算法在其中随机取值,包括整数和小数。
- 对数平均采样:参数范围中填写搜索参数的上下界,算法在其对数尺度上随机取值,该参数类型适用于学习率等参数范围有尺度差异的超参数。
资源配置
BML提供CPU和GPU两类训练机型。
CPU机型供算法框架为sklearn,XGBoost时使用,用于机器学习训练:
机型 | 规格说明 |
---|---|
CPU 4核 | CPU 4核16GB内存 |
CPU 16核 | CPU 16核64GB内存 |
GPU机型供算法框架为Paddle,TensorFlow,Pytorch时使用,用于深度学习训练:
机型 | 规格说明 |
---|---|
GPU V100 | TeslaGPU_V100_32G显存单卡_12核CPU_56G内存 |
GPU P4 | TeslaGPU_P4_8G显存单卡_12核CPU_40G内存 |
查看搜索结果及可视化
查看搜索结果
自动搜索作业运行完成后,在任务列表页中点击查看进入任务详情界面(任务运行时,也可点击查看实时信息)
点击搜索结果,表格中会显示所有试验的详细信息,如评价指标的值、搜索耗时,试验状态等;点击日志,可以查看每个试验的运行日志。
点击详情可以查看每个试验的超参数取值。
查看可视化视图
可视化界面目前仅保存了所有试验中指标最好的5个结果。
- 点击查看可视化视图,可以进入飞桨VisualDL可视化界面。
- 点击标题栏的超参可视化,自动搜索作业一共提供了三种图:
- 表格视图:搜索结果以表格的形式呈现。
-
平行坐标图
- 图中右方为柱状热力图,当在右上方选择一个参数时,平行坐标图便会以该参数作为基准结果,参数组合的折线颜色便会依据该组合在选择参数上的取值而改变。
- 自动搜索作业中,选择评价指标(图中为acc)作为基准结果,然后观察各个超参数对其的影响大小。若某个超参数上相同颜色的折线较为集中,不同颜色有一定的距离,则说明该参数对于结果影响很大;而如果某个超参数上线条颜色混乱,则较大可能该参数对于结果的影响很小。
- 散点图:呈现超参数与指标之间的分布关系。
发布模型
自动搜索作业训练完成后支持将最好的5个模型直接发布到模型仓库。
- 模型列表中,训练完成的模型支持『发布』操作,点击『发布』进入发布界面。
- 在发布界面,完成相关配置,如下所示:
- 填写下图所示基本信息。『模型类型』和『版本』由系统自动生成,不支持修改。重新发布时,『模型名称和『模型描述』会自动填充,无需再次填写。
- 根据算法框架的不同,您还需要在发布界面填写响应的额外配置项信息。
算法框架 | 额外配置项 |
---|---|
PaddlePaddle | 无 |
TensorFlow | 无。说明:自动搜索作业支持发布pb格式的模型文件到模型仓库,因此代码中需要保存pb格式的模型 |
Pytorch | 从BOS中选择源代码并输入源代码的主文件名。说明:选取的代码为启动服务的推理代码,具体说明点击这里(链接到pytorch代码示例中的推理代码部分) |
Sklearn/XGBoost | 模型文件格式:支持发布pickle格式或joblib格式模型到模型仓库。模型文件:选择一个搜索结果后,下方模型文件会自动填充对应试验的路径,用户只需要在对应路径下选中保存的模型即可。说明:其他框架在保存模型时,模型名称是固定的,而机器学习框架中通常是用户指定,因此在发布模型时需要手动选择 |