资讯 社区 文档
技术能力
语音技术
文字识别
人脸与人体
图像技术
语言与知识
视频技术

整体介绍

Hi,您好,欢迎使用百度人体分析私有化部署产品。

人体分析私有化部署方案是基于人体分析模型封装而成的能够本地化部署的纯软件方案,将软件包部署在本地服务器或专有云服务器(需GPU显卡)上后,启动服务,即可调用与在线API功能基本完全相同的接口(参数有少量区别,具体说明请参考接口调用文档)。

方案概述

私有化部署方案适用于网络环境受限制(例如专网)或者对数据私密性有要求的各类业务场景,如公共安防、园区管理、校园监控等,提供分布式高并发部署方案,纯软件方案可以快速测试、快速交付,且不与硬件进行捆绑,更高效、灵活。

注:百度为开发者提供的是包含人体分析模型的部署包软件,硬件采购和服务器部署请提前准备,服务器配置推荐请参考下文硬件配置部分。

私有化部署的整体业务流程如下,下文将针对各个环节分别说明。


产品功能

人体分析的各个模型拆分为不同的私有部署包,目前已上线人体关键点识别、人流量统计、人体检测、人体属性识别(单人版)、手势识别、人像分割、手部关键点识别7个服务的部署包,可选取所需能力灵活应用。

  • 人体关键点识别

检测图像中的所有人体,标记出每个人体的坐标位置;定位人体的21个核心关键点,包含头顶、五官、四肢等主要关节部位,输出每个关键点的坐标信息。

适应轻度遮挡、轻度截断、背面、侧面、中低空斜拍、大动作等复杂场景,实际应用中可根据接口输出的人体框概率分数、关键点概率分数进行过滤,排除掉分数低的误识别“无效人体”

  • 人体检测

检测图像中的所有人体,返回每个人体的矩形框位置;支持人体重叠、遮挡、截断、背面、侧面、动作变化等复杂场景。

适应轻度遮挡、轻度截断、背面、侧面、中低空斜拍等复杂场景,实际应用中可根据接口输出的人体框概率分数进行过滤,排除掉分数低的误识别“无效人体”

  • 人体属性识别(单人版)

输入单个人体的图片,识别人体的静态属性和行为,共支持28种属性,包括:性别年龄、服饰类别、服饰颜色、戴帽子(可区分安全帽/普通帽)、戴口罩、背包、抽烟、使用手机等。

主要适用于中低空斜拍视角,支持人体轻度重叠、轻度遮挡、背面、侧面、动作变化等场景。

  • 人流量统计

识别和统计图像当中的人体个数(静态统计,不支持追踪和去重)。支持框选多个不规则区域统计局部人数,方便统计观察图片中多个重点区域的人群热度,同时可输出渲染图片。

适用于3米以上的中远距离俯拍,以头部为主要识别目标统计人数,无需正脸、全身照;无人数上限,适用于机场、车站、商场、展会、景区等各类人群密集场所。支持轻度畸变的鱼眼摄像头。

  • 手势识别

识别图片中的手部位置和手势类型,可识别24种常见手势,包括拳头、OK、比心、我爱你、点赞、Diss、Rock、竖中指、数字等。

支持自拍、他人拍摄、各种拍摄角度,拍摄距离3米以内,1米内为佳。

  • 人像分割

识别人体的轮廓范围,与背景进行分离,适用于拍照背景替换、照片合成、身体特效等场景。输入正常人像图片,返回分割后的二值结果图、灰度图、透明背景的人像图(png格式)。

  • 手部关键点识别

精准定位手部的21个主要骨节点,包括指尖、各节指骨连接处等,返回每个骨节点的坐标信息;可用于自定义手势检测、AR特效、人机交互等场景。支持多个手部、他人拍摄视角。

  • 驾驶行为分析

针对车载场景,识别驾驶员使用手机、抽烟、不系安全带、未佩戴口罩、闭眼、打哈欠、双手离开方向盘等动作姿态,分析预警危险驾驶行为,提升行车安全性。


购买指南

人体分析私有化部署方案为付费产品,可自用或集成为客户使用,需具备基本的IT能力进行部署使用。

  • 免费测试:人体分析的各个部署包,均提供免费测试,最高可获得3个月免费测试期
  • 正式购买:按照授权数量计费(具体授权方式见下文授权说明),不同功能的部署包分别计费,支持按年授权、永久授权两种购买方式,具体价格请联系客户经理/工作人员沟通。

硬件配置

人体分析的模型需在GPU服务器上运行,请准备好GPU再提交部署包申请。

1、GPU显卡选型建议

序号 显卡系列 推荐型号 说明
1 NVIDIA Tesla P4、P40 P40显存更大,但运行模型的计算单元并不多,因此整体性能与P4差别不大
2 NVIDIA GTX系列 1060、1070、1070Ti、1080、1080Ti 显存需要≥6G
3 NVIDIA RTX系列 2070、2070Ti、2080、2080Ti
4 NVIDIA T系列 T4

注:

① GTX 1060以下版本的显卡,由于性能较低、版本较老,不建议使用。

② 由于GTX的计算单元比P4更多,因此单卡支持的QPS数量也会更多,但因为GTX并非服务器专用显卡,请大家基于自身业务需求进行选择。

2、基础硬件要求

环境类别 环境需求 备注
硬件要求 CPU:≥1核
内存: >=16 G,推荐32 G
硬盘:>100 GB,推荐500 GB以上
INTEL i7/i9等市场主流CPU均可,推荐使用志强系列
如:INTEL Xeon E5-2650 V4 12C 2.2GHZ*2
操作系统(64位) CentOS 7及以上、Ubuntu 14/16/18、RedHat 7.2
网络环境 有线局域网,不支持无线网络 机器需在局域网内,且能获取到ip地址
服务端口 8443 端口不能被占用(鉴权服务默认端口)

性能指标

人体分析各个部署包的性能说明如下,硬件配置选型、服务调用时可参考。

序号 部署包模型 显存占用 单显卡QPS承载量(以P4卡为例) 说明
1 人体关键点识别 5.2G 25~35 QPS 与图片中的人数有关,图片中人越多,单卡支持的QPS数量越少
2 人体检测 2G 45~50 QPS 与图片中的人数有关,图片中人越多,单卡支持的QPS数量越少
3 人体属性识别(单人版) 2.3G 80 QPS 仅针对单人图片进行识别,需搭配人体检测模型使用
4 人流量统计 5G 10~15 QPS 与区域个数、是否输出渲染图有关
5 手势识别 <1G 70 QPS 支持多个手部,但对单个手部的识别效果更好
6 人像分割 4G ~20 QPS 与图片中的人体数量有关
7 手部关键点识别 3G 45 QPS 支持多个手部,但对单个手部的识别效果更好
8 驾驶行为分析 1.6G 40 QPS 支持夜间红外场景

注:以上性能指标仅供参考,具体应用中以项目实测为准

抽祯策略建议:人体分析的应用场景与人脸有一些差异,因不需要对人员进行身份判断,一般情况下无需频繁抽祯识别,实际应用中,可根据场景特性、业务要求,灵活设置,权衡应用效果和资源利用率。

  • 人体关键点识别、人体检测、人体属性识别:需要实时监控的核心区域,帧率可设置高一些,如1fps~2fps,避免漏检;夜晚或很少有人员出现的非核心区域,帧率可相应低一些,如2秒一帧、甚至5秒一帧,减少传输、并发等资源消耗。
  • 人流量统计:主要用于人群密度分析监控,理论上监控画面中人数变化不会太快,实际应用中可根据业务需求调整帧率,如5秒一帧。
  • 手势识别、手部关键点识别:用户的手势变化可能较快,帧率可设置稍高一些,如2fps或者更高。

如何接入

1、申请私有化部署包

登录百度云控制台,选择人体分析技术类别,进入私有服务部署管理页面,发起申请。

BaiduHi_2020-4-1_21-30-25.png

BaiduHi_2020-4-1_21-30-55.png

提交部署包申请后,有如下关键动作需要您的配合:

2、下载获取部署包

部署包申请审批通过后,您会得到部署包的下载链接,需要经过以下步骤,得到可运行的部署包。

  • 通过下载链接下载安装文件到本地
  • 在本地执行命令下载模型部署包

通过下载链接下载安装文件到本地

由于私有化环境下最终进行应用部署的服务器不能连接外网,您需要先选择一台可以联网的电脑或服务器进行鉴权服务安装包及镜像文件安装包的下载。您可选择Windows、Linux、MacOS操作系统来进行鉴权服务部署包的下载。

下载完成后您可自行将安装包上传到需要进行私有化部署的服务器上。

在本地执行命令下载部署包

下载完成安装文件后,解压后进入original目录执行以下命令获取到部署包。

  • linux/macos环境:
执行bash download.sh

img

  • windows环境:

首先需要下载win-bash,使windows环境可以执行linux脚本。

win-bash的下载地址为:https://sourceforge.net/projects/win-bash/files/shell-complete/latest/

解压后放在original目录下,目录结构如下图所示

img

最后点击download.bat执行下载脚本,下载安装包。

最终得到的部署包,包含以下内容:鉴权服务安装包、应用镜像文件安装包以及docker安装包等基础依赖环境。

备注:进入original目录后可打开refs.txt文件查看详细的下载内容。

CPU环境部署和GPU环境部署下载后包含的的安装文件有所区别。具体示例如下:

img


授权说明

私有化方案需要对服务器硬件进行授权,您可以在GPU服务器或者普通PC物理机上运行百度提供的硬件指纹提取工具,提取硬件信息(提取成功后会生成一个指纹文件),然后在控制台人体分析私有化部署包申请界面上传指纹文件,审批通过后即可获得授权。

将运行人体分析模型的GPU与运行授权服务的硬件间建立通信,就能运行起人体分析模型了,可运行模型的显卡数量与授权数量相同。

注:授权服务可以运行在CPU设备上(比如一台固定的PC机),针对这台设备生成license,license文件中包含几个授权,就可以人体分析模型在多少个显卡上运行,只要保证被采集了指纹的硬件不被替换,授权也不受影响(即使替换GPU服务器也不会受影响)。

授权有效期

人体分析的私有部署包提供2种授权方式:按年授权、永久授权,不同的授权方式价格不同,具体费用信息请联系客户经理/工作人员沟通。

  • 按年授权:自购买日期生效,到约定的日期后license失效,部署包不可继续使用,如要继续使用,需重新购买新的部署包。
  • 永久授权:自购买日期生效,license永久有效,授权的硬件不替换、损坏,即可一直使用。

注:百度一直保持授权服务的兼容,只要您之前已经购买过某个模型的授权,那么百度在这个模型上的性能提升后的新版部署包,都可以自助升级。但如果新增功能,形成了一个新的接口,则需要重新购买。


服务部署

部署环境准备、部署方式、部署流程(含鉴权服务和应用服务)详见部署说明文档。


接口调用

应用服务部署成功后,即可获得与在线API基本完全相同的接口,可参考接口调用文档开始调用测试。


上一篇
错误码
下一篇
部署说明