产品服务
语音技术
图像技术
文字识别
人脸与人体识别
视频技术
AR与VR
自然语言处理
数据智能
知识图谱
硬件产品与服务
定制化训练平台
深度学习开放平台
硬件产品
官方认证的硬件产品与百度AI协同应用
硬件与软件开源的机器人视觉产品方案
软硬一体化的人脸识别开发套件
软硬一体化的远场语音开发套件
硬件赋能
快速赋能移动设备及智能手机
零代码生成高性能端计算模型
高性能计算卡参考方案&软件工具包
端云一体的多模态人机交互解决方案
EdgeCloud端云协同平台
为抓拍机厂商提供端云对接协议及产品推广
可视化配置,实现抓拍机管理与业务系统集成
硬件合作
开放评测认证让您的产品加入AI生态
开放与芯片合作,让AI深度走入终端设备
可视化训练模型服务平台,获取高精度定制图像识别、声音识别、文本分类服务
自助定制专属模板,实现海量单据卡证的结构化识别
智能对话系统开发平台,让产品快速拥有对话交互能力
自助训练专属模型,提升业务场景语音识别效果
集合代码环境、算法算力和数据集的线上一站式开发平台
提供深度学习系列公开课与商业案例
源于产业实践的开源深度学习平台
零代码生成高性能端计算模型
基于真实样本的超大规模的开放数据集
AI加速器
AI市场
资讯
社区
技术与实战 | 怎样开发一个AR场景应用?
发布日期:2018-10-11 17:50:55浏览量:3013次
相关标签 行业快讯

第81期百度技术沙龙在北京氪空间举办

 

第81期百度技术沙龙在北京氪空间举办,来自百度AR与VR部门的四位工程师与到场的近百位开发者、企业代表共同分享了百度AR&VR的核心技术能力和实战案例。

 

作为国内领先的增强现实生态开放平台,百度AR在今年的开发者大会上推出了DuMix AR 3.0,全面升级人机交互能力并开放更多工具,在满足AR开发者更多维度需求的同时帮助他们实现更简单的流程和更高效的分发。本次沙龙主要从技术角度对DuMix AR 3.0平台进行了深度剖析。

 

打通底层硬件至业务场景的跨越式布局

百度AR资深研发工程师  马晓昕
百度AR资深研发工程师  马晓昕

百度AR资深研发工程师马晓昕首先为大家介绍了Dumix AR 3.0平台的整体技术框架和技术构成。以一个典型AR应用案例的需求层次来看:在MVP部分,开发者定义了场景及用户交互流程,接下来通常需要经过“内容-感知--呈现--跟踪-交互”的技术路径实现;尔后,运用平台工具对素材进行制作与管理,完成上线部分最后进入商业化运营。

 

Dumix AR 3.0平台的商业化运营

 

大多数情况下,行业内的AR企业根据自身优势或业务形态,聚焦于其中2~3个能力层级;而百度凭借在AI领域的深度累积,形成了以兼容主流AR硬件设备为基础、跨越“技术层+内容层+业务场景”的完整布局,开发者可以通过不同层级的能力自由组合,生成满足自身业务场景需求的解决方案。

 

百度AI在AR领域的整体布局方案

10+核心能力开放,一站式AR内容平台

 

Dumix AR 3.0为开发者提供了“技术+内容”双平台,技术开发者可以将AR应用托管至内容开放平台,同样内容开发者也可以将生产的内容私有化部署至技术开放平台。

 

高效、灵活的AR应用部署开发方案

 

对技术开发者来说Dumix AR 3.0提供了很高的自由度。不仅全面开放了手势、肢体、通用SLAM算法、背景分割等十余项AR核心能力,更是行业里首个将人脸识别能力面向开发者开放的AR平台;8类适用于不同场景的AR引擎和4种开发框架,让开发者能够高效、灵活地部署最适宜的开发方案。

 

同时,Dumix AR 3.0为内容开发者准备了从制作工具(编辑器)、内容管理到云端实时分发的全流程支持,帮助开发者快速实现AR内容制造和规模化产出。值得强调的是,这些内容不只能够通过开发者自有渠道进行分发,而且与百度APP相机入口、小程序入口、百家号入口等全面打通,一键分发,未来也将开放百度生态内更多用户级产品的入口。

 

如何开发一个AR场景应用?

 

通过上述工具和能力,如何在DuMix AR 3.0平台上完成一个AR场景应用?是现场观众和许多入门级开发者最关注的部分。百度AR资深研发工程师徐力从实战角度对AR场景的开发进行了拆解。

 

百度AI-AR开发场景树

 

所谓场景,就是在游戏和3D开发中常提到的“Scene”,它通常是指整个虚拟画面中所有元素的集合。要灵活地组织这些虚拟物体的渲染,常见渲染引擎中通常使用场景树来组织场景的逻辑结构。对AR场景而言,为了实现对现实环境的增强,除了需要对虚拟场景的逼真渲染,还要充分考虑虚拟场景和现实环境的融合、虚拟物体和现实环境的互动,更多地对现实环境进行感知。总的来说,AR场景开发,就是实现虚实融合的渲染+虚实互动的交互。 

DuMix AR 3.0内容平台

 

百度AR自主研发了一整套的AR场景渲染和场景智能互动的基础能力,并以此定义了一套完整的场景开发标准和配套工具集,开发者依照标准结合自己的创意来开发自己的AR场景应用,并通过DuMix Cloud来进行部署和分发。

 

百度AR自主研发AR场景渲染和场景智能互动基础能力

 

在DuMix AR SDK中,包含了丰富的渲染和互动基础能力模块,来实现虚实融合的渲染和虚实之间的互动,例如:

 

  • 动画控制模块完整支持了刚体动画、骨骼动画和BlendShape动画;

  • 光照系统除了支持多种类型的光源和动态阴影,还支持了IBL高级光照效果,以及实现了动态的环境光感知。材质模块支持了业内比较先进的PBR物理材质,在移动端上的渲染效果达到了业内较领先水平;

  • 在人机互动方面,支持了丰富的屏幕手势、空间手势、语音、人脸表情、人体肢体等多模态的交互方式。

百度AR资深研发工程师  徐力
百度AR资深研发工程师  徐力

我们通过脚本系统来为开发者提供场景开发的API接口,以便开发者访问到上述所有模块的功能。另外,脚本中支持了KVC和KVO的编程方式,让开发者既能够以非常少的接口,方便地访问场景中所有节点的属性、状态信息等,也可以很容易地实现对场景属性的变化进行监听,方便高效地基于这些数据的变化去实现互动效果。

 

我们的场景渲染和互动模块完整兼容了ARKit的大部分基础功能,开发者可以在百度AR的自研跟踪算法和ARKit之间灵活切换;另外我们还提供了场景分布式加载的功能,有效缩短了加载过程中的用户等待时间,提升了用户体验。

 

一般AR场景的开发流程步骤

 

一般的AR场景的开发流程需要以上步骤,而DuMix AR为开发者提供了更便捷的网页端场景编辑器,在手机上使用DuMix view预览工具即可在编辑过程中实时预览。

 

 

特别需要指出,在人脸AR方面,百度AR也提供了一套完整的工具支持,它以一个Maya插件的形式呈现。内容的设计师可以直接在Maya中制作人脸AR的模型和场景、为它配置人脸交互响应等,然后直接导出为DuMix AR SDK中可使用的内容资源。

 

百度AR-MaYa插件形式导出DuMix AR SDK