Pipeline 使用教程

目录

1. 在 CodeLab 中使用 Pipeline
   1.1 新建项目
   1.2 创建 pipeline 文件
   1.3 构建 pipeline
   1.4 调试 pipeline
   1.5 运行 pipeline
   1.6 pipeline任务流程的可视化
2. 命令行方式使用 pipeline
   2.1 命令行方式使用 pipeline 的场景
   2.2 pipeline 命令行结构
   2.3 在命令行中发起 pipeline 单次任务
   2.4 在命令行中发起 pipeline 周期任务
   2.5 pipeline 环境清理
   2.6 pipeline任务流程的可视化

在 CodeLab 中使用 Pipeline

新建项目

新建项目时，NoteBook 版本选择 BML CodeLab ，新建项目后启动并进入NoteBook环境

创建 pipeline 文件

构建pipeline前，需首先创建pipeline类型的文件（.ppl文件）；通过以下三种方式可创建pipeline文件：

（一）新建文件方式创建，点击“文件-新建-pipeline文件”，即可创建并进入到pipeline编辑文件；

（二）文本文件后缀修改方式，将文本文件的后缀修改为“.ppl”即可创建为pipeline编辑文件，如下图所示：

（三）CodeLab启动页，点击Pipeline应用入口即新建pipeline文件：

构建 pipeline

在创建好的.ppl文件中，通过SDK构建 Pipeline，主要有以下两个概念：

• Op： 构建的最小运行单元，可支持函数（FuncOp）、脚本（ScriptOp）和镜像粒度；
• Pipeline：由op组成，编排机器学习流程；

下面是一个简单的 pipeline 示例：

from pipeline.dsl import ScriptOp, FuncOp, pipeline
from pipeline.dsl import OutputResource
from pipeline.interface import Run

# 函数级OP
@FuncOp()
def prepare(data):
    """ prepare """
    print("HelloPipeline is preparing...")
    with open(data, 'w') as fp:
        fp.write('Hi\n')


# 函数级OP
@FuncOp()
def end():
    """ down """
    print("HelloPipeline is all done")


# 编排Pipeline
@pipeline(name="hello_example")
def HelloPipeline():
    """ Hello Pipeline Example """
    pre_op = prepare(data=OutputResource())
    say_op = ScriptOp(name="hello-ppl", command=["echo"], arguments=[
                                "HelloPipeline say: ", pre_op.outputs['data']])
    end_op = end()
    end_op.after(say_op)

if __name__ == '__main__':
    Run().create(HelloPipeline)

pipeline 编排后支持任务流程的可视化展示：pipeline 可视化展示

pipeline 更多构建详情可查看：垃圾邮件识别、林业病虫害防治AI昆虫识别

调试 pipeline

1） 发起调试

在完成了对 pipeline 的构建和编排后，我们就可以先通过调试 pipeline 的代码验证流程是否能够跑通，

调试过程中，pipeline的运行日志会打印在页面下方控制台窗口中。

如下图所示，可通过点击调试按钮, 发起本地调试任务：

发起调试后，日志内容将会被展示，提示用户任务发起成功，且一个时间点最多只能有一个op在运行（即使多个pipeline同时处于调试运行状态，在同一时间点也只能有一个op在运行）

op运行时，日志中会追加显示以下内容：

-提示op开始运行；
-显示当前运行命令； -若定义了outputs参数（输出资源），则在op逻辑运行结束后显示输出资源的存放路径；
-提示op运行结束

注意：调试任务输出 artifact 不会上传到 artifact 仓库

注意：调试运行期间，用户可以修改保存ppl文件，但是修改后的内容不会更新到当前运行的调试任务中。

2） 停止调试

发起调试后，调试按钮会变成停止调试的样式，点击该按钮，即可停止当前调试运行：

3）调试运行成功

pipeline内所有节点运行结束后，将会提示pipeline运行成功。

如再次点击调试按钮，pipeline将再次从头运行，且此前产生的调试运行日志将被清除：

4）调试运行失败

若节点运行错误，则会展示异常信息，并提示节点运行失败，pipeline运行失败。用户可以修改代码逻辑或ppl文件内容，并重新发起本地调试任务。

运行 pipeline

调试通过的pipeline，可发起后台运行任务，并可查看相关运行记录及详情。

1）发起运行

点击pipeline文件上方运行按钮，在弹出的配置项弹窗中填写相关配置，即可发起后台运行任务。其中pipeline参数项基于用户代码生成，与编排内容中定义的 pipeline 参数项一致，且用户在发起运行阶段可修改参数值。

pipeline运行支持单次运行、周期运行两种方式；针对周期运行，用户可用crontab表达式配置运行周期。

2）运行记录

点击CodeLab左侧功能区Pipeline按钮，即可查看所有历史运行记录：

3）运行详情

运行记录列表中既包含单次运行，也包含周期运行。

• 【单次运行】

对于单次运行，点击运行列表中操作-详情，即可查看pipeline运行详情，包含节点级关键信息、日志展示：

• 【周期运行】

对于周期运行，点击运行列表中操作-详情，可展示周期性的多次运行记录信息；

点击某运行记录下的详情，可查看任一次运行的详情信息：

pipeline 任务流程的可视化

点击文件上方菜单中的可视化按钮，即可将任务流程渲染为可视化图形：

1）节点关键配置查看

将鼠标悬停在可视化节点上，可以查看该节点对应的关键参数配置，如命令、输入参数、输出参数等：

2）可视化调整

可视化窗口宽度及渲染图形的位置，可鼠标拖动调整；可视化图形也可进行缩放调节，如下所示：

2）刷新渲染结果

如在可视化过程中，对代码进行编辑修改，可对图形进行刷新展示：

命令行方式使用 pipeline

命令行方式使用 pipeline 的场景

Pipeline除了提供web界面外，还提供了命令行入口，方便用户在在 CodeLab 开发环境内通过shell直接操作 pipeline 相关功能，以及集成到 shell 脚本中使用。

pipeline 命令行结构

当前pipeline命令行采取三级命令的形式:

• 第一级： pipeline 命令的执行入口，即ppl
• 第二级： 操作的类别名称，当前支持三种二级命令：run（单次任务）, job（周期任务）, env（环境清理）
• 第三级： 表示具体的操作命令

pipeline命令行所有命令如下：

下面，我们分别描述[单次任务]，[周期任务]，[环境清理]三类二级操作命令的使用方式。

在命令行中发起 pipeline 单次任务

1、pipeline 文件编写

Pipeline 任务运行前，先要编写好Pipeline定义文件。具体细节，可以参考如上在 CodeLab 中构建 pipeline 文件

2、发起单次任务

详细参数：

命令返回

结果为字典形式。字段如下：

data内容为json格式，各字段解析如下：

使用示例：

1. 发起单次运行，指定部分ppl参数，ppl单次任务名，单次任务描述等

2. 发起本地任务，并且让日志实时展示出来

3、查看任务详情

详细参数如下：

命令返回

命令返回结果为字典形式。字段如下：

data内容为json格式，各字段解析如下：

data内容为json格式，每个key为节点的stepid。对于云端任务，如果该节点没有运行，则没有该节点的信息。每个节点对应包含的字段解析如下：

使用示例：

注意：

• 任务中查询结果中，有 og_path 字段，表示本地任务日志路径
• pipeline_dict 字段为 kfp 兼容的 pipeline 描述格式，内容较长，但不包含运行时信息。运行时信息通过pipeline_info 查看

4、查看任务列表

详细参数如下：

命令返回

命令返回结果为字典形式。字段如下：

data内容为json格式，各字段解析如下：

runs中每个元素内容为json格式，各字段解析如下：

使用示例

1. 指定从2021-04-19 10:10:10开始，到2021-12-01 10:10:10为止，查询所有通过/home/work/mnt/project/abcde/4_node.ppl这个pipeline文件发起的任务。并且指定每次查询最多返回8条内容

如下图所示，总共发起了4个任务

2. 查询status为 Succeeded 或 Terminated 的任务

如下图所示，先查询status为Succeeded 或 Terminated的任务列表，共返回两个任务；随后筛选其中的任务，只剩下runid=3的一个任务

5、终止单次任务

详细参数如下：

命令返回

命令返回结果为字典形式。字段如下：

使用示例：

如下图所示，先创建一个任务，然后停止该任务，可通过list接口看到，该任务已被停止

6、删除单次任务

详细参数如下：

命令返回

命令返回结果为字典形式。字段如下：

使用示例：

如下图所示，先创建一个任务，然后删除该任务，可通过get接口看到，该任务已被删除，无法查询

7、查看单次任务日志

详细参数如下：

命令返回

命令返回结果为字典形式。字段如下：

data内容为json格式，各字段解析如下：

使用示例：

如下图所示，先展示该任务的整体日志，再查看其中一个节点（save-msg）的日志，最后只展示该节点从第二行起，共5行日志

8、查看debug任务

详细参数如下：

命令返回

命令返回结果为字典形式。字段如下：

data内容为json格式，各字段解析如下：

data内容为json格式，每个key为节点的stepid。对于云端任务，如果该节点没有运行，则没有该节点的信息。每个节点对应包含的字段解析如下：

使用示例：

如下图所示，该接口与ppl run get类似，不过对于debug任务，还可以通过ppl文件路径的形式查询调试任务

一个ppl文件，在同一时刻只能运行一个调试任务

在命令行中发起 pipeline 周期任务

1、发起周期任务

详细参数：

命令返回

结果信息输出到stdin中，格式为json形式。字段如下：

data内容为json格式，各字段解析如下：

使用示例

除了crontab参数以外，周期任务的发起参数与单次任务一致，因此只演示最基础的周期任务发起场景。

2、查看周期任务详情

详细参数：

命令返回

结果信息输出到stdin中，格式为json形式。字段如下：

data内容为json格式，各字段解析如下：

使用示例

该命令只能获取周期任务的概要信息，如果想要查看该周期任务发起过的单次任务列表，可以查看[单次任务]中的查询单次任务列表命令

3、查询周期任务列表

详细参数：

命令返回

结果信息输出到stdin中，格式为json形式。字段如下：

data内容为json格式，各字段解析如下：

使用示例

周期任务列表参数与单次任务列表一致，因此只演示最基础的周期任务发起场景。

4、终止周期任务

终止周期任务，会将周期任务，以及该周期任务产生的运行中的周期任务全部停止

详细参数：

命令返回

结果信息输出到stdin中，格式为json形式。字段如下：

使用示例

5、删除周期任务

删除周期任务，会将周期任务，以及该周期任务产生的运行中的周期任务全部停止，然后将周期任务以及该周期任务产生的所有单次任务全部删除

详细参数：

命令返回

结果信息输出到stdin中，格式为json形式。字段如下：

使用示例

pipeline 环境清理

该章节详细介绍 pipeline 命令行中，环境清理相关的各个命令，包括命令参数，返回结果，以及常见的使用示例。

1、停止所有任务

该接口能够停止所有任务，包括周期任务，单次任务。

详细参数：

该接口不需要参数

命令返回:

结果为字典形式。字段如下：

data内容为json格式，各字段解析如下：

使用示例

2、清理环境

详细参数：

mode参数详解：

• restores: 恢复初始设置，会终止所有周期任务和单次任务，并清空所有的运行环境（包括但不限于数据库记录，每个节点的运行代码，日志，和 aritfact）这是个毁天灭地的命令，慎重！
• runtime: 删除所有 pipeline 任务(非debug模式) 运行时的代码备份，但是pipeline任务的日志，artifact 和数据库记录等信息会保留（即不影响查询，但是ppl任务运行环境没有保留）。pipeline占用空间较大时，可以使用该命令清理部分空间

命令返回:

使用示例

1. 清理节点运行代码备份目录（主要为了清理部分磁盘空间）

2. 恢复pipeline初始化设置，清理所有相关内容（慎重）