资讯 文档
技术能力
语音技术
文字识别
人脸与人体
图像技术
语言与知识
视频技术

技能编排

技能编排工具将帮助用户在凌云平台上按需编排新技能,供设备使用。支持用户新建、自定义编排和发布技能,操作简单,快速上手。整体操作路程如下:

image.png

1. 新建技能编排任务

首先要新建技能编排任务,才能在同一技能任务下添加版本并编排技能。以垃圾桶检测技能为例。

image.png

【操作步骤】

  1. 点击「AI技能」-「技能编排」进入【技能编排】页;
  2. 点击「新建编排任务」,填写任务名称、适用型号、任务描述和模版信息;

选择技能适用型号时需和预配置的SDK所适配的设备型号保持一致,技能才能正常编排。可在【模型管理】-【SDK池】查看。

image.png

目标检测模版和区域分析模版适用于不同场景,对应算子配置的标签不同,如下表:

模版介绍 技能示例
目标检测模版 基于检测目标标签编排业务策略,快速生成对应场景技能包,实现目标级事件分析和上报,如区域内有新的目标主体进入就告警 电子围栏、攀高检测、车辆入侵、烟雾检测、火焰检测、垃圾桶满检测、电瓶车进电梯
区域分析模版 基于区域内目标状态标签编排业务策略,快速生成对应场景技能包,实现区域级事件分析和上报,如区域内抓拍到一定数量的目标主体就告警,提供统计分析 离岗检测、烟火检测、区域人流过密、垃圾桶计数、电瓶车进电梯
  1. 点击「确定」成功新建技能编排任务

image.png

2. 编排技能

2.1 添加&编排技能版本

用户可以添加技能版本,自定义编排技能。

【操作步骤】

  1. 在【技能编排】页,点击操作栏中「详情」,进入【编排详情】页

image.png

image.png

  1. 点击「添加版本」,版本列表即可更新一项,点击操作栏中「编排」进入编排模式

image.png

image.png

  1. 您可以在画布中点击节点,在右侧编辑区编辑并保存各个节点信息,包括通用目标检测算子、通用过滤算子、通用抓拍算子等。详细编排算子的流程及规则见2.2

点击「校验」可一键校验当前技能的算子是否编排完成且符合要求。

2.2 编排算子配置规则

为帮助用户快速上手,凌云已默认配置好使能算子、抽帧算子等节点,用户仅需编排目标检测算子、通用过滤算子、通用抓拍算子。
编辑并保存算子节点后,会聚合输出相应标签,用于下一个节点的条件设置。各算子的功能配置及输出标签如下表:

算子名称 功能描述 配置要求 输出标签
技能使能及技能运行控制算子 适合用于技能图头结点, 通过该算子可以实现技能启停, 技能运行时间控制 系统配置 --
抽帧算子 通过该算子实现对上游算子的等间隔抽帧, 设置抽帧比例如1s5帧 系统配置 --
流控算子 根据AI算子吞吐效率及时进行丢帧处理, 防止队列拥堵出现技能或系统卡顿等情况 系统配置 --
通用目标检测算子/AI算子 通过该算子可以驱动目标检测sdk进行检测推理,获取目标检测结果 必填项,用户需选择SDK SDK标签,据实际SDK而定,主要有检测时间戳、跟踪ID、目标标签和置信度等
区域过滤及区域聚合算子 通过该算子能够过滤屏蔽区域内的所有目标, 也能够根据分析区域进行目标聚合分析, 实现每个分区区域独立分析 系统配置 分析区域ID、分析区域名称、目标进入分析区域比例
通用过滤算子 根据目标标签、置信度等信息进行条件过滤,符合条件的主体将不被过滤并进入下一步 支持自定义条件编排 非必填项,用户配置规则 --
通用抓拍算子 根据配置的规则,对视频流中的符合抓拍条件的目标主体或区域主体进行抓拍 需配置报警描述,规则选填
  • 目标检测模版:目标首次出现时间(float)、目标最近一次出现时间(float)、目标逗留时间(float)、目标滞留状态(bool)、目标静态状态(bool)、检测时间戳(int64)、跟踪id(int64)
  • 区域分析模版:所有目标当前计数(float)、所有目标累计计数(float)、区域内无目标闯入的持续时间(float)、区域内有目标闯入的持续时间(float)、滞留目标计数(float)、静态目标计数(float)
  • 通用上报算子 可以对抓拍的事件或目标, 根据DumuOS和度目应用平台规范, 进行统一的数据转换及图片编码、数据上报 系统配置 --

    2.2.1 编辑通用目标检测算子

    编排技能,首先需要下拉选择技能适配的SDK,SDK列表来源于用户在凌云平台【模型管理】模块创建的SDK池,点击「保存并进入下一节点」。
    选择不同SDK将会输出不同的SDK标签,用于后续算子的条件配置,多数包括检测时间戳(int64)、跟踪ID(int64)、目标标签(string)和置信度(float, 0-100)。

    image.png

    2.2.2 编辑通用过滤算子

    编辑过滤算子时,用户可以设置单一条件或组合条件,根据目标标签、置信度等信息进行条件过滤。条件表达式由标签、比较关系符和参数组成,如下图表达式为“置信度大于80”。

    image.png

    标签

    标签下拉列表可选择前面各个算子聚合输出的标签,

    image.png

    目标检测模版 区域分析模版
    SDK标签
  • 检测时间戳:监测到目标的时间戳,int64
  • 跟踪ID:监测跟踪的目标ID,int64
  • 目标标签:检测目标的标签名称 string
  • 置信度:目标检测置信度/包含目标对象的可能性,需选择合适的阈值,float (0-100)
  • 区域过滤及区域聚合算子标签
  • 分析区域ID:string
  • 分析区域名称:string
  • 目标进入分析区域比例:int(0-100)
  • 通用抓拍算子
  • 目标首次出现时间:首次检测到目标的时间,float
  • 目标最近一次出现时间:最近一次检测到目标的时间,float
  • 目标逗留时间:目标在指定区域逗留的时长float
  • 目标滞留状态:目标是否在指定区域逗留,bool
  • 目标静态状态:目标是否会静态,bool
  • 检测时间戳:监测到目标的时间戳,int64
  • 跟踪ID:监测跟踪的目标ID,int64
  • 所有目标当前计数:float
  • 所有目标累计计数:float
  • 区域内无目标闯入的持续时间:float
  • 区域内有目标闯入的持续时间:float
  • 静态目标计数:float
  • 参数

    参数可选择固定值或动态参数,其中固定值技能初始化后不可更改,动态参数支持用户发布技能时设置动态表单的标签,技能初始化后可赋值。

    image.png

    条件表达式可以组成单一条件或组合条件

    • 单一条件:条件不区分优先级,可添加多个「且」「或」条件;
    • 组合条件:优先执行嵌套条件,条件/嵌套条件均可叠加,垃圾桶检测技能设置如下组合条件;

    image.png

    2.2.3 编辑通用抓拍算子

    编辑抓拍算子时,用户可以设置单一条件或组合条件,配置原则与过滤算子一致,可以不配置。同时需设置报警描述,可按自己需求输出目标标签、置信度信息等。

    image.png

    垃圾桶检测技能设置如下报警描述,点击「保存并进入下一节点」。

    image.png

    2.3 发布技能

    用户在编排并保存节点后,可以发布技能,发布成功的技能便可在【设备管理】中选择适用设备进行安装。

    image.png

    【操作步骤】

    1. 点击「发布」按钮出现【设置动态表单】弹窗,支持设置持续报警时间、报警灵敏度、报警间隔、最大报警次数和图片编码质量。

    image.png

    填写技能适配的动态参数,用户在设备安装您发布的技能时便可直接使用您设定的表单默认值。

    image.png

    动态表单支持设置持续报警时间、报警灵敏度、报警间隔、最大报警次数和图片编码质量。如条件设置定义了动态参数,支持设置参数名称、填写提示和默认值。详细描述见下表:

    属性名 描述 填写建议
    持续报警时间 当报警抓拍条件满足后开始进入报警计时, 满足所设置的持续报警时间后才发出报警, 否则产生报警; 当持续报警时间设置为0时报警触发立即报警 默认值0,范围: 0-3600秒
    报警灵敏度 用于调整持续报警时间范围内报警容错率比例, 灵敏度=不满足报警条件事件/事件总数, 灵敏度越高报警越容易触发, 报警容错率越高 默认值50,范围: 0-100
    报警间隔 设置同一目标或同一识别事件两次触发报警的时间间隔 默认值30,范围: 0-3600秒
    最大报警次数 同一目标的最大报警次数,超过该次数后,此目标不再触发报警 默认值3,范围: 1-100
    图片编码质量 用于控制抽帧的图片的清晰度,当设置数值越大时,图片编码质量清晰度越高,对应图片大小也增加;当存储资源紧张时,可选择将数值调小 默认值75,范围: 1-100

    1. 点击「下一步」,填写技能信息,首次发布技能时注意技能名称和事件名称唯一且不能修改;

    image.png

    技能版本建议从V2开始填写,便于后续凌云升级技能模版时向上兼容,技能应用更流畅。

    1. 点击「确定」,提交技能发布申请,发布中可前往【AI技能】-【技能编排】-【编排详情】的版本列表中查看发布进度,发布成功需等待2-3min。

    image.png

    发布成功后,需提供技能ID和技能名称向百度侧运营人员申请授权,便于后续的设备安装和使用。

    3. 附录-算子描述信息

    算子描述信息

    上一篇
    模型管理
    下一篇
    技能管理