开放能力
开发平台
行业应用
生态合作
开发与教学
资讯 社区 控制台
技术能力
语音技术
图像技术
文字识别
人脸与人体识别
视频技术
AR与VR
自然语言处理
知识图谱
数据智能
场景方案
部署方案
行业应用
智能教育
智能医疗
智能零售
智能工业
企业服务
智能政务
智能农业
信息服务
智能园区
智能硬件
AR开放平台

    AR SDK基础版介绍

    AR SDK基础版介绍

    如果您对文档内容有任何疑问,可以通过以下几种方式联系我们:

    • 在百度智能云控制台内提交工单,咨询问题类型请选择人工智能服务->AR增强现实
    • 如有需要讨论的疑问,欢迎进入AI社区
    • 与其他开发者们一同交流,百度AR开发者交流QQ群:472081119

    简介

    百度DuMix AR SDK开放能力中,基础版SDK主要包含2D识图和跟踪,SLAM实景定位和跟踪等核心能力,主要应用场景包括互动营销、教育科普、实景小游戏、虚拟车展等。

    版本记录

    移动端 SDK

    含Android、iOS

    发版时间 版本号 版本说明 升级端
    2020年5月 4.7.2 升级渲染引擎和相关接口。 双端
    2019年6月 2.6.1 支持ARplay引擎支持空间小游戏。 iOS
    2018年9月 2.6 剥离OpenCV库。 iOS
    2018年8月 2.5 试用授权升级为正式授权,支持在线获取应用授权,原试用授权下线;支持识图调起SLAM和IMU类型AR内容,iOS端支持识图调起ARKit类型AR内容。 双端
    2018年7月 2.4.1 新增加载本地内容接口。 双端
    2017年7月 1.0 支持识图跟踪触发AR,支持SLAM实景放置触发AR,支持手机姿态IMU触发AR内容,支持语音指令和语音播报,支持试用版鉴权(限500次调用)。 双端

    说明:2.5以上版本,线上应用授权上线,试用授权下线,试用APP需更新至新的鉴权方式,AR内容平台上试用APP的内容资源需迁移至正式APP下。

    能力介绍

    感知跟踪和智能交互

    能力 说明
    云端识图 通过本地或云端的相同图检索功能,识图触发AR内容,本地部署约支持1000张识别图,云端部署不限制识别图数量,用于幼教卡片、商品包装、线下宣传海报等识图触发等场景。
    本地识图 通过本地或云端的相同图检索功能,识图触发AR内容,本地部署约支持1000张识别图,云端部署不限制识别图数量,用于幼教卡片、商品包装、线下宣传海报等识图触发等场景。
    2D图片跟踪 通过对图片特征的实时检测和定位,实现运动状态下的实时稳定跟踪,用于AR名片、虚拟沙盘展示、AR产品说明书等场景。
    SLAM实景放置 通过对相机当前捕捉的实景进行实时地图构建和跟踪,实现将3D道具放置在实景中,用于虚拟车展、幼教科普等场景。
    IMU感知触发 基于手势姿态在空间中触发和放置AR内容,如正对屏幕触发。
    语音指令 支持调用语音识别能力,实现预设关键词触发交互,用于实现语音指令输入相关的智能交互场景。
    语音播报 支持调用语音合成能力,实现预设文案的语音播报,用于内容介绍,或交互反馈。

    说明:语音识别和语音合成需接入百度语音SDK相关能力。

    3D渲染和互动引擎

    移动端SDK,支持通过自研3D渲染引擎技术,将增强内容与真实环境融合叠加,所支持的AR增强内容素材格式如下:

    渲染引擎 说明
    3D模型 支持glTF格式的3D模型和动画渲染能力。
    2D图片 JPG、PNG格式,支持配置图片、按钮等素材。
    序列帧动画 JPG、PNG格式,支持多图连播的帧动画。
    视频 MP4格式,同时支持本地和在线视频播放。
    透明视频 MP4格式,支持扣除背景的视频素材播放,用于动漫IP和绿幕拍摄内容。
    本地音频 MP3格式,支持本地音频播放。
    天空顶 JPG、PNG格式,静态天空背景场景特效,可用于星空、梦幻天空等场景。
    全景图 JPG、PNG格式,天空盒全景图特效,可用于看车内饰、任意门等玩法。
    实时光照 支持配置3D模型真实感光照效果。
    动态阴影 支持配置3D模型动态阴影。
    粒子特效 支持雨、雪、花瓣、火焰、烟雾、孔明灯等粒子特效。
    实时滤镜 提供多种实时滤镜效果,可配置滤镜开关,可配置是否作用于3D模型。
    模型交互 自定义模型交互响应,支持单指移动、双指旋转、双指缩放、单击事件、长按拖拽;可配置交互热区,对全场景和单个模型;可配置移动轨迹 ,直线移动和弧形轨迹移动,支持配置移动中始终面向屏幕;设置旋转角度,限制旋转角度和旋转轴向。
    交互事件 视频交互,支持点击事件触发播放、暂停、循环播放;动画播放,支持按指定顺序或动画时序触发播放;音频交互,支持点击事件触发播放、暂停、循环播放;支持多种音效同时播放,例如:背景音乐和交互反馈声音;图片交互,支持点击事件触发外链、图片隐藏;外链,支持配置URL外链,跳出AR体验场景。

    基础功能

    基础功能 说明
    录制 提供录屏功能,支持录制环境音。
    拍照 提供截屏功能。

    应用案例

    查看更多案例展示

    互动营销

    可口可乐城市罐

    百度与可口可乐联合打造的一次重磅创新营销,融入内容形态支持全媒体(图片、语音、视频、3D模型动画等)的突出优势,以AR技术解密12座不同城市的风土人情。线下2亿+曝光,匹配线上百度App开屏、原生GD推广资源,获得销量与口碑的双赢,成为业界标杆。

    bj-2c0f07935057d92e9c9ef33724f5db970d3fdb10.png

    欧莱雅男士&变形金刚IP合作

    借势《变形金刚5》强档上映,欧莱雅男士结合影视娱乐IP的跨界合作,通过AR技术与之零距离互动,营销变“型”势不可挡。

    识别图:

    adf03d26a01edd9ec804e8da3c8a4fee46c13fde.png

    体验方式:打开最新版百度App,点击搜索框右侧相机入口,选择AR,对准图案即可体验。

    效果图:

    bj-0101fd413fbebaa1467b636dcce68eb9b9b3b24a.png

    商品包装案例-中秋月饼礼盒

    通过商品包装触发AR,赋予礼品之外的科技象征意义,拓展企业文化赋能的新营销模式。

    识别图:

    694b10658eccb7e75563b30080879da26d296a79.png

    体验方式:打开最新版百度App,点击搜索框右侧相机入口,选择AR,对准图案即可体验。

    服装特效案例-AR文化衫

    T恤上印制了维密翅膀,看上去跟普通T恤无异,但当你使用手机百度APP扫描时,就会出现相应的维密翅膀模型,可滑动产生粒子效果。

    识别图:

    539c33aa8c2719320fc69662c39e6e117e0161a7.png

    体验方式:打开最新版百度App,点击搜索框右侧相机入口,选择AR,对准图案即可体验。

    效果图:

    bj-b284eb2b5bf7fc82ffce8ace8bc46fea53ce1f03.png

    教育科普

    奇巴布App【AR课堂】爱奇艺旗下儿童教育应用

    AR的情景教学,真实还原了海底世界和热带雨林中的动物以及交通工具等等。小朋友不仅可以身临其境的学习百科知识,还可与自己喜爱的动物同框留影,家长可以拍照记录孩子与动物互动的美妙瞬间,在孩子感受到知识趣味性的同时也达到增进亲子关系的效果。

    5244ad6f3f448a8c990598da8f27251f278ce5f0.png

    实景小游戏

    AR游戏《荣耀飞车》

    百度AR基于荣耀8X新机的强劲性能,为其量身定制了一款AR桌面互动、赛车竞速类游戏《荣耀飞车》,以高精度贴合、耗时低、运动中表现稳定的2D跟踪能力和稳定度高、兼容性强的全新SLAM技术为游戏带来流畅的操控性和更具感染性的表现力。

    bj-4d3cd4484d7cf83bf2b4c4957b46faa073ce6fd5.png

    AR打年兽

    2018年春节期间,根据“驱年兽”的历史传说,将AR功能和打地鼠游戏模式相融合,首次采用百度AR自主研发的SLAM方案、推出“打年兽,赢宝箱”春节活动,丰富了百度App的AR玩法,让用户体验具有趣味性的AR游戏。

    bj-cc0d9227323b9a56a4d76e65d427b68328441bc6.png

    虚拟车展

    易车【AR看车】专栏

    以业内领先的AR技术和渲染能力,为易车度身定制了《AR看车》专栏。一比一车型还原、高精度实景贴合,突破性地实现了线上观车的新体验!

    • 通过SLAM实景放置+3D渲染能力,实现实景定位和跟踪,查看车外观。

    bj-b554744f41856bd3039198dad2b5158fe4e36d89.png

    • 通过IMU+全景图能力,查看车内饰。

    bj-d2185a9a38784ead3e035a28d94324818768def4.png

    开始接入

    点此获取应用授权,点此下载SDK,查看SDK集成文档,查看教学视频

    点此查看AR场景开发指南

    欢迎进入技术论坛交流,百度AR开发者交流群QQ:472081119

    下一篇
    Android SDK 基础版