开放能力
开发平台
行业应用
生态合作
开发与教学
资讯 社区 控制台
技术能力
语音技术
图像技术
文字识别
人脸与人体识别
视频技术
AR与VR
自然语言处理
知识图谱
数据智能
场景方案
部署方案
行业应用
智能教育
智能医疗
智能零售
智能工业
企业服务
智能政务
智能农业
信息服务
智能园区
智能硬件
人脸识别

    产品简介

    如果您对文档内容有任何疑问,可以通过以下几种方式联系我们:

    • 在百度云控制台内提交工单,咨询问题类型请选择人工智能服务
    • 如有需要讨论的疑问,欢迎进入AI社区 与其他开发者们一同交流
    • 特效用户交流QQ群:583486416

    1 概述

    手势识别跟踪SDK包含手势识别触发、手部跟踪特效、指尖检测等多种实时特效功能,提供产品级的UI开源界面,方便用户根据自己的业务定制界面,提供易用、稳定、统一的手势特效服务。

    2 兼容性

    支持 Android 4.4+ 支持 iOS 9.0+

    3 核心功能

    功能模块 功能简介 iOS Android
    手势识别触发 支持7种常见手势识别,包括拳头、比心、手掌、食指、比耶、OK、点赞。
    手部跟踪特效 实时检测手势类型和位置,可准确稳定跟踪手部,支持手部2D贴纸、序列帧动画、3D贴纸、控雨特效等。
    指尖检测 实时检测食指指尖,支持空间作画特效。

    3.1 手势识别触发

    可检测识别7 种手部姿势:比V、点赞、OK、单手比心、食指比1、握拳、手掌,支持触发相应特效。

    手势示意图如下:

    手势1.png 手势2.png

    3.2 手部跟踪特效

    实时跟踪手部动作、位移,可叠加2D/3D贴纸道具或打造手势控雨等玩法。

    手掌控雨效果图如下:

    手势3.png

    3.3 指尖检测跟踪

    精准检测和跟踪指尖点位,可依循指尖移动轨迹触发粒子特效、滤镜特效,适用于指尖作画、滑动切换滤镜等玩法。 效果图如下:

    手势4.png

    4 适用场景

    适用于上半身出镜的近身拍摄场景,全身出镜时手部的屏占比较小,不容易被识别。

    手部要完整的出现在镜头内,手部的偏转角度会影响识别率,手部动作偏转角度较大时不容易识别或误识别。

    左右手、正反手,均可识别和跟踪。

    5 鉴权方式

    5.1 在线鉴权

    按App鉴权,推荐使用在线鉴权,支持按年付费使用,优势在于申请较为简便,适用于网络环境较稳定的场景。

    在线鉴权是通过线上系统或线下方式获得license鉴权文件,根据license使用说明将文件放在指定位置后,进行SDK使用的方式。如需延长授权使用的时间,在授权功能范围不变更的情况下,不需要更新license文件,使用使用简单方便。license文件的详细使用方式请参考技术文档。

    5.2 离线鉴权

    其他鉴权方式,如离线鉴权或按设备鉴权的方式目前暂不支持,是针对特定用户做的定制化鉴权处理,需要通过线下申请的方式获得SDK。

    5.3 License的使用

    license以dumixar.license文件的方式提供。

    5.3.1 Android

    请根据情况选择下面任意一种方法集成:

    方法一、以文件名dumixar.license放置在assets根目录下 该方法不需要其他代码调用。

    注意:如果多进程或插件方式使用DuMixController,需要保证在创建DuMixController实例的执行环境能访问的对应assets的资源

    方法二、显示传递license信息 将dumixar.license文件内容读到byte[]变量后传递。该方法适用于想自行控制license存储位置的场景。

    mDuMixController = new DuMixController();
    byte[] license = // 读取license文件数据
    mDuMixController.checkAuth(license, null, null);

    注:checkAuth方法必须在setup方法前调用。

    5.3.2 iOS

    设置license信息,将dumixar.license拖入工程中。

    NSData *data = [NSData dataWithContentsOfFile:[[NSBundle mainBundle] pathForResource:@"dumixar" ofType:@"license"]];
    NSArray *features = [BARSDKPro setLicenseData:data onlineFeatures:^(NSArray *onLinefeatures) {
     } unsupportedFeature:^(NSInteger unsupportedFeature) {
        }];

    注:设置license方法必须在初始化AR控制器前调用。

    上一篇
    实时动漫偶像SDK
    下一篇
    手势识别跟踪SDK-iOS