开放能力
开发平台
行业应用
生态合作
开发与教学
资讯 社区 控制台
技术能力
语音技术
图像技术
文字识别
人脸与人体识别
视频技术
AR与VR
自然语言处理
知识图谱
数据智能
场景方案
部署方案
行业应用
智能教育
智能医疗
智能零售
智能工业
企业服务
智能政务
智能农业
信息服务
智能园区
智能硬件
人脸识别

    产品简介

    如果您对文档内容有任何疑问,可以通过以下几种方式联系我们:

    • 在百度云控制台内提交工单,咨询问题类型请选择人工智能服务
    • 如有需要讨论的疑问,欢迎进入AI社区 与其他开发者们一同交流
    • 特效用户交流QQ群:583486416

    1. 概述

    业内首创核心技术,通过普通单目摄像头输入RGB图像,输出人体16个核心关键点的三维坐标信息,实时检测跟踪并精准估算人体三维姿态。

    2. 兼容性

    支持 Android 5.1+ 支持 iOS 9.0+

    3. 核心功能

    3.1 人体三维坐标估算

    实时检测画面中的人体,精准定位16个核心关键点,包含头部、四肢、腰部等主要部位,并可对关键点进行持续跟踪。 人体关键点分布如下。

    image

    当前3D肢体SDK共计输出16个人体关键点,点位顺序以MPII顺序为参考,具体点位顺序0-右脚踝、1-右膝、2-右 股、3-左股、4-左膝、5-左脚踝、6-盆骨、7-胸部、8-脖子、9-头部、10-右手腕、11-右手肘、12-右肩、13-左 肩、14-左手肘、15-左手腕。

    当前SDK输出为人体16个关键点的3D坐标,其中x,y为屏幕坐标归一化值,z为相对于人体根节点(人为规定关键点 6为根节点)的相对深度,单位为mm。

    3.2 人体姿态检测跟踪

    精准估算人体关键点的空间位置,实时捕捉人体位置及姿态信息,适应转体、侧身、四肢躯干遮挡等复杂运动情况。

    4 应用场景

    4.1 体育训练及康复

    通过摄像头捕捉追踪人体在一段时间内的姿势变化,检测人体姿态是否达到预期的角度、幅度、速度,辅助健身锻炼、体育训练、舞蹈练习、康复训练等应用。

    4.2 虚拟形象

    通过真人驱动,让虚拟形象具备类比真人的肢体动作,并支持与3D人脸特效、手势识别等功能结合应用,让虚拟形象更加灵活生动,可用于虚拟IP驱动、肢体驱动类游戏、远程授课或播报等场景。

    4.3 人体行为识别

    通过摄像头捕捉追踪人体的动作变化,根据肢体动作或变化角度判断人体动作行为,可用于无人车、机器人、视频监控等行为分析需求场景

    5 特色优势

    5.1 业内首创技术

    通过普通单目摄像头输入单帧RGB图像或连续视频画面,即可实时、准确估计人体关键点的三维信息,无需特殊设备支持。

    5.2 性能优耗能低

    检测精准,识别快速,在iPhone 8 plus上可达80 fps+,CPU占用率<50%;低端嵌入式平台速度可达25 fps+。

    6 鉴权方式

    6.1 在线鉴权

    本SDK采用在线鉴权方式,此种鉴权方式SDK会联网校验App授权信息。优势在于申请较为简便。适用于网络环境较稳定的应用场景;在线鉴权是通过线上系统或线下方式获得license鉴权文件,根据license使用说明将文件放在指定位置后,进行SDK使用的方式。

    6.2 License使用

    license以dumixar.license文件的方式提供。

    6.3.1 Android

    • 将文件dumixar.license放置在assets根目录下
    • 鉴权初始化 使用能力前,务必先调用Authenticator.init初始化,否则能力无法正常使用。初始化示例如下
    // 需要预先加载动态库,否则将无法初始化
    System.loadLibrary("auth");
    Authenticator.init(getApplicationContext(), new IAuthCallback() {
        @Override
        public void onSuccess() {}
        @Override
        public void onError(String errorMessage, int featureCode) {}
    });

    注:鉴权初始化必须要最先进行

    6.3.2 iOS

    • 将文件dumixar.license添加入Bundle资源中
    • 鉴权设置License初始化
    NSData *data = [NSData dataWithContentsOfFile:[[NSBundle mainBundle] pathForResource:@"dumixar" ofType:@"license"]];
    NSArray *features = [BARSDKPro setLicenseData:data onlineFeatures:^(NSArray *onLinefeatures) {
     } unsupportedFeature:^(NSInteger unsupportedFeature) {
        }];

    注:鉴权设置License初始化必须要最先进行

    上一篇
    人脸小游戏
    下一篇
    3D肢体关键点SDK-原生iOS