资讯 社区 文档
大模型加速学科升级,飞桨赋能北邮“X+大模型”特色小学期
发布日期:2023-07-02 16:00浏览量:473次
在人工智能时代,设计师与产品经理比以往更加需要关注一个事实:那就是如何利用人工智能和数据分析技术,打造让用户心动的信息交互产品和用户体验,释放人-机协同共创的巨大潜能,是决定设计产能和竞争力的关键。
产业的巨变之下,北京邮电大学侯文军教授联合百度飞桨团队,共同设计了《从情节到交互:UX+AI,打造多模态信息交互产品》特色工作坊,在这个为期一周的工作坊中,在飞桨Jungle老师团队的带领下,同学们通过学习多模态数据分析与大模型技术,以影视片为多模态信息源,逐步从图像、声音和文本中开展数据驱动的设计分析,最终将电影的多模态信息转化为引人入胜的多通道交互产品,产出真实项目。
课程培养目标

多模态人工智能技术理解与应用能力

了解多模态人工智能技术的原理、算法和应用,掌握如何利用这些AI技术来分析电影中的文本、图像和声音等多模态信息,并结合飞桨和大模型工具,转化为交互式应用的设计素材与流程。

数据分析与创新思维

学会使用多样化的数据分析工具和方法,从电影数据中提取有价值的信息和洞见。培养创新思维和以用户为中心的设计理念,发掘电影的被动式观赏与主动式交互应用之间的结合点,从电影情节中,策划产品的独特功能价值和交互流程。

交互设计能力

利用多模态的设计能力,在视觉、听觉和触觉等方面,设计直观且吸引人的多感官界面,将电影元素与界面设计相结合,创造出令人印象深刻的交互式应用设计,提供良好用户体验,有效和舒适地传达信息和故事。

团队协作与项目管理能力

与其他参与者组成团队,共同合作开发一个电影交互式APP原型。学会有效的团队协作,包括任务分配、沟通和协调。获得项目管理的实践经验,学会规划、执行和监控项目进展。
部分课程内容
部分课程内容如下:
  • 小学期主题及实践任务解析

  • 人工智能技术现状、多模态人工智能技术与设计的结合

  • 多模态与智能交互设计融合系列课程

  • 项目课题:基于电影多模态信息的多通道交互产品设计

部分项目成果
为期5天的工作坊,时间十分紧张。在这么短的时间内,要求同学们不仅要学习和消化全部的课程内容,还需要高质量完成课题项目——这对他们的学习力、创造力,特别是爆发力,都提出了巨大的考验。
工作坊的57名大三同学,均来自享誉全国的北邮智能交互设计专业,该专业依托北京邮电大学的信息科技优势,立足“新工科”培养理念,培养“人工智能+交互设计”的复合型精英人才。57名同学,通过相互组队,最终产出了25个内容丰满的项目。
项目示例一
杨闪、孙沛然和车皓远同学,选取电影《爱乐之城》开展多模态信息挖掘与产品设计。他们通过 K-Means 聚类方法,分析和提取了象征不同季节和情感阶段的主题色,以及代表不同情绪风格的音效,将其作为交互产品的设计素材。
在影片中,男女主角载歌载舞,洋溢着活力与优雅,此时此刻,三位同学提出了一个问题:对不会跳舞的人,他们如何能享受歌舞所带来的快乐?
借助 PP-TinyPose,产品可以将特定的用户照片,转化为电影中经典舞蹈的视频进行复刻,让用户也能像电影中的角色,载歌载舞!
项目示例二
朱芃宇、范星兰和程力昊同学,探索的电影是《天使爱美丽》。他们基于故事情节、画面和声音等多模态信息,打造了全新的照片社交产品——Moment。
该产品旨在驱动身在不同时空的用户,为彼此拍摄一张将实体明信片与周围环境进行合影的照片,使用户感到明信片与周围风景,都是专门为他们而拍摄的。以此通过强调该照片的独特性和定制性,让用户在收到照片时感受到被特别重视和关注,并从此与陌生人建立一种美妙的时空关联。
借助文心跨模态大模型 ERNIE-ViLG 的参考图模式,用户照片可以被产品进行风格化,这样既避免了个人信息的泄露,又得到了更多的艺术可能性;在社交网络数据提取及用户匹配方面,团队选择 ERNIE-UIE 模型,能更精准地提取和匹配地理位置、机构、建筑等信息,辅助用户找到“远方的朋友”;在明信片内容辅助生产方面,产品则是利用飞桨版 SAM,从摄影照片得到语义内容,并作为 ERNIE-BOT 的文本提示词,从而帮助用户更快地产出明信片设计与文字稿。
项目示例三
侯家祺、徐瑞宁和秦一硕同学,选取的电影是《佛罗里达乐园》。通过图像与音频聚类,提取主题色和具有代表性的音效,而这些梦幻的色调和热闹的声音,准确反映了孩子们视听世界的特征。
三位同学的产品定位,则是通过 AR 交互式虚拟恶作剧,来帮助用户进入到《弗罗里达乐园》的世界,以第一视角体验各类恶作剧,获得解压。
这款多模态 AR 实景交互 AR 游戏,具有极强的电影内容关联性,借助 PaddleSeg 的能力,许多现实元素能够被自动分离和提取,并融入到剧情,在用户与其交互过程中,产生更深层次的剧情体验。
项目示例四
徐茗和陳珮雯同学,则是基于电影《浪矢解忧杂货店》多模态信息,打造了一款现实版 AI 浪矢爷爷。他们将电影海报中的“杂货店”,通过 ERINE-ViLG 进行了“翻新”;并提取了浪矢爷爷的回信文本,作为小样本数据集,在 AI Studio 大模型社区打造了相同“话风”、同样能够进行回信的“AI浪矢爷爷”。
项目示例五
杨若望、杜尧和刘先胜同学,从电影《阿凡达》中,提取了“冥想”的设计理念和独特的色彩模式。利用文心跨模态大模型 ERNIE-ViLG ,团队的三位男生,通过简单的 prompt,就能为自己生成特定主题且具有一定连续性的系列设计素材,成为自己产品中的关键元素加速了产品的创意表达。
由于篇幅有限,还有很多同样优秀精彩的团队项目没有介绍,相信在未来,我们将有更多的机会和场合进行分享。
北京邮电大学侯文军教授表示,大模型正在真真切切地驱动企业与产品的代际变革,并在实际落地的过程中,产生真实的价值。大模型+设计,将带来企业与产品变革的全新势能,这次校企融合的实践课程,让同学们开展前沿科技的应用探索,产生丰硕的成果,大家都获益匪浅。当前面向新一轮产业变革,更多的任何学科和产业,都将在大模型技术的推动下,迎来自己的“iPhone”时刻。
期待你的加入!
刚才的项目,和“创意”很相关。说起“创意”,这里,我们要明显地做一个广告了:欢迎创意无限的你,带着梦想与技术,参加中国高校计算机大赛人工智能创意赛!

扫码进群

报名链接

https://aistudio.baidu.com/aistudio/competition/detail/1026/0/introduction
技术能力
语音技术
文字识别
人脸与人体
图像技术
语言与知识
视频技术