网易伏羲蝉联 CVPR 两项冠军,AI 助推《绝对演绎》首创“情绪迁移”玩法
近日,国际 AI 顶会 CVPR 2022 公布第三届人脸表情国际挑战赛结果,网易伏羲虚拟人团队从全球 129 支顶尖科研队伍中脱颖而出,连续两年拿下人脸表情动作单元检测(AU)、人脸情绪识别赛道(EXPR)的双料冠军,并率先将科研成果应用于产业创新。基于网易伏羲的 AI 人脸情绪识别技术,手游《绝对演绎》在国内首创表情情绪互动式玩法,将真人表情实时迁移至游戏人物,沉浸式还原演员磨炼演技的趣味体验,创下 8 天超 7300 万次的面部表情练习纪录。
(国际 AI 顶级会议 CVPR 2022 近日放榜)
让 AI 更好地识别、描述人类情感,并将前沿研究落地应用,是国际学术界长期关注、力争突破的重要课题。作为计算机视觉三大国际顶级会议之一,CVPR 举办的第三届人脸表情国际挑战赛聚焦 AI 人脸表情分析领域的落地价值,考验参赛队伍 AI 模型识别人脸情绪的抗干扰和泛化能力。本次赛事共吸引 129 支全球一流高校和企业科研团队同台竞技。
在此次竞赛中,网易伏羲虚拟人提出基于自研表情表征技术和基于 transformer 的多模态情绪分析框架,最终在人脸表情动作单元检测(AU)获得 F1 49.89%、人脸情绪识别赛道(EXPR)获得 F1 35.87%,连续两年蝉联双料冠军。
(网易伏羲虚拟人团队连续两年斩获 CVPR 竞赛双料冠军)
目前,网易伏羲的 AI 人脸表情迁移、情绪识别等研究成果已投入应用,AI 情绪识别技术更是首次应用于游戏玩法。去年底上线的娱乐圈题材"黑马"手游《绝对演绎》,就基于网易伏羲在人脸表情情绪领域的前沿 AI 技术,在国内首创表情情绪互动式玩法。玩家根据文字提示做出各种表情后,AI 会将真人表情实时迁移至游戏角色中,并一键判断玩家的演绎是否到位。
(基于网易伏羲 AI 技术,《绝对演绎》国内首创表情情绪互动式玩法)
沉浸式磨炼演技的新颖玩法,叠加实时的效果展示,极大地提升了玩家的代入感体验,广受好评。去年 10 月,《绝对演绎》曾展开"视镜之旅"公测,演艺圈的"奋斗咖"在 8 天内进行了超 7300 万次面部表情练习,杀青了超 2.5 万场戏,玩家的事业心之强让网友直呼"提高内娱内卷质量,还看《绝对演绎》"。据悉,该项技术甚至收到了娱乐圈业内人士的关注,用以判断演员的演技。
(玩家晒出《绝对演绎》"练表情"神同步成果)
除了在虚拟人科研领域的深度耕耘,网易伏羲还拥有智能捏脸、动画迁移、动画合成、语音合成、语音转换等完善的虚拟人产品矩阵,为众多虚拟人公司以及麦当劳、网易云音乐、网易严选等快消、文娱、电商、金融等行业提供虚拟人技术解决方案。
2022-05-06 01:54:48