开放能力
开发平台
行业应用
生态合作
开发与教学
资讯 社区 控制台
技术能力
语音技术
图像技术
文字识别
人脸与人体识别
视频技术
AR与VR
自然语言处理
知识图谱
数据智能
场景方案
部署方案
行业应用
智能教育
智能医疗
智能零售
智能工业
企业服务
智能政务
智能农业
信息服务
智能园区
智能硬件
人脸识别

    产品简介

    如果您对文档内容有任何疑问,可以通过以下几种方式联系我们:

    • 在百度云控制台内提交工单,咨询问题类型请选择人工智能服务
    • 如有需要讨论的疑问,欢迎进入AI社区 与其他开发者们一同交流
    • 特效用户交流QQ群:583486416

    1 概述

    人脸表情动捕驱动SDK,又名Dumoji,能够实时获取人脸关键点和表情,由真人驱动3D模型,和人脸同步进行一致的表情动作。

    通过人脸关键点检测信息绘制人脸三维面片的方式,将二维纹理立体地绘制在人脸上,能够极大角度贴合人脸姿态。通过从视频或语音中恢复人脸三维网格结构和光影估计信息,实时捕捉人脸脸型、表情和头部姿态等信息,最后映射到丰富的表情基底而驱动各类3D素材,呈现生动而有趣的效果。

    最新版本优化了细节效果上的表现,良好地适应了人脸五官及眼球位置的实时变化和遮挡处理。

    2 兼容性

    支持 Android 4.4+ 支持 iOS 9.0+ 支持Unity(含Android,iOS,Windows)

    3 核心功能

    3.1 三维人脸检测跟踪

    基于高精度的人脸关键点检测与三维人脸重建算法,可支持在不同人脸角度、面部表情及光照条件下实现稳定的头部姿态估计

    3.2 面部表情动作捕捉

    基于领先的人脸关键点组件化的优化方案,支持眼睛、嘴巴等部位的细腻表情动作捕捉,为用户提供丰富的表现力

    3.3 动画驱动渲染系统

    提供整套轻量化的3D引擎系统,在支持人脸动画驱动的基础上,支持多种材质渲染,使驱动效果更加自然生动

    效果图如下:

    dumoji1.png

    4 鉴权方式

    4.1 在线鉴权

    按App鉴权,推荐使用在线鉴权,支持按年付费使用,优势在于申请较为简便,适用于网络环境较稳定的场景。

    在线鉴权是通过线上系统或线下方式获得license鉴权文件,根据license使用说明将文件放在指定位置后,进行SDK使用的方式。如需延长授权使用的时间,在授权功能范围不变更的情况下,不需要更新license文件,使用使用简单方便。license文件的详细使用方式请参考技术文档。

    4.2 离线鉴权

    其他鉴权方式,如离线鉴权或按设备鉴权的方式目前暂不支持,是针对特定用户做的定制化鉴权处理,需要通过线下申请的方式获得SDK。

    4.3 License的使用

    license以dumixar.license文件的方式提供。

    4.3.1 Android

    请根据情况选择下面任意一种方法集成:

    方法一、以文件名dumixar.license放置在assets根目录下 该方法不需要其他代码调用。

    注意:如果多进程或插件方式使用DuMixController,需要保证在创建DuMixController实例的执行环境能访问的对应assets的资源

    方法二、显示传递license信息 将dumixar.license文件内容读到byte[]变量后传递。该方法适用于想自行控制license存储位置的场景。

    mDuMixController = new DuMixController();
    byte[] license = // 读取license文件数据
    mDuMixController.checkAuth(license, null, null);

    注:checkAuth方法必须在setup方法前调用。

    4.3.2 iOS

    设置license信息,将dumixar.license拖入工程中。

    NSData *data = [NSData dataWithContentsOfFile:[[NSBundle mainBundle] pathForResource:@"dumixar" ofType:@"license"]];
    NSArray *features = [BARSDKPro setLicenseData:data onlineFeatures:^(NSArray *onLinefeatures) {
     } unsupportedFeature:^(NSInteger unsupportedFeature) {
        }];

    注:设置license方法必须在初始化AR控制器前调用。

    上一篇
    人脸特效贴纸SDK
    下一篇
    人脸表情动捕驱动SDK-iOS