主体功能介绍
飞桨低代码开发工具(PaddleX)是飞桨精选模型的一站式开发平台,支持云端和本地端使用,助力产业智能化升级。
PaddleX的主体功能包括两种开发模式:工具箱模式、开发者模式,以及若干功能项,如版本管理、后台任务等,注意部分功能项仅在AI Studio云端提供。
工具箱模式
工具箱模式界面如下,详细文档请参考这里。
开发者模式
开发者模式界面如下,详细文档请参考这里。
版本管理
注意,版本管理功能仅限AI Studio云端使用。
版本用于保存项目空间中的重要文件, 以便恢复;用户最多可以生成20个版本, 并指定不同的版本名称。
创建版本
您可以点击右上角"版本"->"版本目录头部【+】", 来生成一个新版本. 每个版本最少会包含一个文件, 最大可以达到1GB, 可包含至多1000个附带文件。
后台任务
注意,后台任务功能仅限AI Studio云端使用。
由于PaddleX有高级版GPU、尊享版GPU环境每周运行总时长限制, 以及PaddleX离线运行时长目前默认10分钟, 如果需要突破这两种限制,获得更稳定的模型训练效果,可以使用后台任务功能。
后台任务基于一个版本, 可以将全部版本内容提交至后台的GPU服务器上进行运行, 然后可以将运行后的结果全量返回并再次导入项目环境中。
PaddleX中,后台任务依赖于版本中根目录(/home/aistudio/)下的ipynb文件,这里推荐大家使用PaddleX预置的background_task.ipynb文件,可在开发者模式中进一步编辑。
后台任务不依赖当前PaddleX的硬件环境, 因此无论在普通版(CPU)环境, 还是在高级版(GPU)环境中, 均可以创建并提交。
❗注意:由于后台任务输出结果超出20GB时会被强制关停,所以请适当增大训练时的评估、保存间隔,避免因保存过多checkpoints导致任务失败!
后台任务创建流程
1、通过右上角工具栏点击「任务」,切换至任务窗口。
2、点击「+」弹窗显示创建任务页面【1】。因为后台任务依赖版本中根目录下的ipynb文件,因此您可根据实际情况选择「新建版本」或使用已有版本填写必要信息。若选择「新建版本」则进入创建版本页面。
注意:为保证任务的高效且正常运行,建议您提前在开发者模式中完成脚本调试,调试通过后再生成对应的任务版本。
3、在创建任务页面【1】中需要填写任务备注、选择项目版本以及执行文件.填写完成后,点击下一步进入创建任务页面【2】。
注意:这里推荐使用PaddleX提供的background_task.ipynb。对于data目录下挂载的数据集,后台任务需重新解压处理,请按需在开发者模式中完善ipynb脚本中的数据处理逻辑,并提前完成调试工作。
4、您可在创建任务页面【2】中根据任务的实际需要选择不同的运行环境。需要注意的是后台任务消耗算力卡或A币,因此需要保证在提交任务时算力点或A币余额>=1。
5、后台任务共提供2种运行环境,分别为V100 1卡 3点/小时和V100 4卡 120A币/小时,选择不同的环境会展示对应环境的详细配置。
6、创建任务后,页面头部会弹窗提示"后台任务创建成功"并在右侧的任务列表中生成记录。
注意:若所选服务器爆满时,任务将处于'排队中'状态。排队中状态最多保持24小时,超过24小时任务将自动失败且任务处于排队状态不会消耗算力卡。
7、任务处于'运行中'状态时,您可通过项目详情页的后台任务板块或任务列表中对应任务的复选框中选择「查看日志」跳转至查看日志页面,观察任务运行情况。您也可以通过「终止任务」终止当前中正在排队或运行中的任务。
8、当任务完成后, 您可以将任务输出结果下载至项目空间或本地。选择下载输出结果至项目空间时,会将您的任务结果压缩包保存在'/home/aistudio/任务编号/'路径下。
9、将结果导入项目空间或下载到您本地电脑后,任务可以删除. 同时, 在项目详情页面中, 您也可以管理已经提交的任务, 进行下载输出、查看日志、终止任务、删除任务等操作。
注意事项:
- 只保留最近的5个任务;
- 每个任务的运行输出结果最多保留30天;
- 任务单次运行时间上限为72小时(不含排队时间);
- 任务输出结果体积 > 20GB或文件数量 > 10000时,任务将会失败 ;
- 项目空间 > 60GB时,暂不支持下载输出至项目空间。
资源监控
资源监控功能可帮助大家监控CPU占用率、内存占用率、硬盘占用率、AI加速卡占用率、显存占用率等,帮助大家根据资源情况调整模型开发中的超参数。