我在 VR 里看冬奥:运动员在我头顶飞
"这简直太好玩了,我还没有玩够!"运动员在冬奥会场馆内沉迷玩 VR 游戏的视频近日在多个社交媒体上广泛传播。
▲ 冬奥场馆内的 VR 游戏实况
随着全民对冬奥赛事的关注度提高,越来越多的人感受到冰雪运动的魅力。一些精彩瞬间的背后,VR 直播、360 度自由观赛、虚拟数字人…… 不少"元宇宙"要素活跃在北京冬奥会的各个角落。
自从 2016 年里约奥运会首次使用 VR 技术以后,奥运会不但记录着运动员的成长,也见证着 VR 技术发展。比如说,2018 年韩国平昌奥运会期间,英特尔通过 True VR 技术对部分赛事拍摄,提供 360 度全景视频观看,同时还提供 VR 直播和 VR 点播两种类型的赛事观看服务。今年北京冬奥会,VR 技术的应用更是在娱乐、训练、观赛等多个领域都给人们带来了更多的惊喜。
▲ 通过 360 度全景视频观看比赛
冬奥会赛事进程已接近尾声,VR 技术究竟用在了哪些地方?国内 VR 厂商们又是如何在冬奥会中赢得世界关注?经过一番调查并亲自 VR 观赛后,我们发现这次冬奥会,VR 厂商们都在集体"秀大招"。
一、亲测 3 种 VR 看冬奥,大屏观赛如临现场
"VR 直播年年有,但是每次直播效果都不好。"过去的 VR 直播受限于场地、设备等原因,转播的画面总会出现模糊不清、观看角度不好和时效性差等问题,因此,部分观众一直不看好大型赛事的 VR 直播,对于临场感和沉浸感更是不奢求。
为了解决这些难题,国内早在 2019 年就专门组建了"冰雪项目交互式多维度观赛体验技术与系统"项目团队,由北京大学牵头,国家实验室、企业和其他高校参与合作研发,北京大学教授陈宝权为项目负责人。
▲ 北京大学教授陈宝权
研究人员会根据场馆情况布置多台摄像机,记录比赛现场的精彩画面。他们在首都场馆部署的 40 台 4K 阵列摄像机和 3 台可实现 8K VR 直播的相机。
▲ 赛场的摄像机阵列
部分细心的网友扒出摄像机阵列的相关细节,认为其厂商可能是国内摄像机品牌 Z-CAM,而 8K VR 直播的相机可能为 Insta 360 影石专业级相机 Titan。
▲ 赛场旁的 Titan 相机
1、VR 冬奥怎么看?亲测三种 VR 观赛方式
经过调查,我们发现目前共有三种方式可以感受 VR 冬奥的魅力:VR 设备、手机上的央视频 App、以及 H5 页面。
除了使用国内自研的 VR 摄像设备之外,北京冬奥会还实现了"自由视角观赛",即从 3DoF(即眼睛可以向上下左右看)升级到 6D0F(头部位置也可以移动)。这样一来,观众就可以在任何位置观看任何角度的比赛。
▲ 3DoF 和 6D0F 的区别(图源于网络)
实际效果究竟怎么样?我亲自体验了一番,首先我用手机央视频 App 的 VR 冬奥观看了 2 月 16 日的冰球男子 1/4 决赛。
当进入到相关页面后,我看到画面的正前方是一个虚拟的 VR 大屏,就像现场的大屏一样,可以观看到比赛的细节和回放。镜头随后会转到运动选手身上,我可以看到他们从起点出发的动作,随后画面会随着场上赛事的节奏自主切换角度,我也尝试自己调整观看角度,甚至我能看到他们击中冰球入门的手势动作。
▲ 用手机端观看冰球男子 1/4 决赛的画面
在用手机观看 VR 比赛时,我仍感到一些不足之处,比如说,画面清晰度还不是很高,画面总会有一层灰蒙蒙的感觉,较正常的手机视频清晰度略差一些。
但打开 VR 设备后,我就不再吐槽满是噪点的画面清晰度了。我戴上 VR 设备,打开央视频 VR App,就进入央视频专为冬奥打造的观赛空间,海报、抱枕、奥林匹克标志,央妈一次拉满了冬奥氛围。
▲ 央视频 VR 的观赛区
不仅如此,央视频还贴心地设计了定制个性化菜单,并在日历中标出每天将会有哪些赛事。连我最关心的奖牌情况,央视频都会清晰地呈现在下方。
无论是想按项目观看比赛,还是想按日期观看比赛,清晰、便捷的菜单设置都简化了我查找赛事的过程,让我以最快的速度看到想看的比赛。
▲ 央视频 VR App 提供的多项观赛项目
而观赛的形式和手机上的体验比较类似,但整体上画面清晰度大幅提升,我可以清晰地看到运动员做了哪些动作,就好像站在赛道旁看着运动员从自己的头顶飞过。
▲ 用 VR 观赛
与现场观赛相比,我在 VR 观赛中感到比较遗憾的可能是不能感受到整体现场的欢呼声。但仅从观看体验上来说,用 VR 设备观看比赛确实给人带来不少惊喜。部分比赛过程中,导播们还通过 AR 技术给出一些信息,并告知观众赛场上不同赛事的最新情况。
除此之外,在观看赛事的过程中,我常常还会因为导播切换画面而找不到运动员在哪里,从而错过精彩瞬间。
而手机上的 H5 界面多会采用 360 度全景图片,向我介绍奥运场馆的相关信息,较少涉及比赛本身。
公开信息显示,软件研发和服务公司天源迪科和中国联通合作了"中国联通冬奥 5G 智慧观赛产品创新研发项目",场内联通用户可通过 H5 页面或小程序接入场馆边缘媒体服务器,获得多视角、精彩回放、场内服务预订等视频服务及信息服务。
不仅如此,VR 全景服务商蛙色 VR 也表示他们提供技术支持和新华社联手打造 360° 沉浸式漫游场馆。
▲ 用手机 H5 页面观看首都体育馆
2、耗时长、画面卡,VR 直播难题如何解?
"观众可以不断地、连续地改变视点,从不同角度观看同一个赛事。"项目负责人陈宝权说,"不仅如此,还有机会实现电影《黑客帝国》中'子弹时间'的炫酷体验。"
"子弹时间"是指某个凝固的时间点,人们通过 360 度全景摄像观看到那一刻的所有人和物的画面,也因此,实现"子弹时间"意味着观众可以实现观看角度自由。
▲ 电影《黑客帝国》中展现的"子弹时间"
但在冬奥会的赛场上实现"子弹时间"并非易事。
要知道,按照传统的拍摄方式,一台摄像机一秒的 8K 画面可能会有高达几个 GB 甚至十几个 GB 的内容,而几十台摄像机同时构建某一秒的画面可能会用到近几百 GB 大小的内容素材,在过去,摄影团队想要制作一个"子弹时间"场景,往往需要花费相当长的时间。
面对巨大的内容素材,如何实时渲染画面、如何呈现连贯的比赛画面、如何实时完成 360 度全景观看,这些都是摆在项目研究人员面前的难题。
据陈宝权介绍,解决这些问题主要靠他们研发的"端到端自由视角视频系统"和"VR 冬奥赛事孪生推演与视听语言创意设计软件"。
"端到端自由视角视频系统"不但可以在较短的时间内处理完庞大的图像信息,同时还能通过三维重建生成新视点的图像,避免因现场相机个数有限导致画面不连贯。"如果采用足够多的新(虚拟)视点插入,最终实现丝滑般的自由视角观赛体验。"陈宝权说。
▲ 虚拟视点效果图(来源:B站 UP 主阿里达摩院扫地僧)
而"VR 冬奥赛事孪生推演与视听语言创意设计软件"正是针对此前 VR 观赛的遗憾之处 --"不知道看哪里比较好"推出的软件系统。
研究人员通过和一些专业人士合作,对赛场上可能会出现的精彩时刻设计视频镜头轨迹,进行实时导播,帮助观众抓住每一个热泪盈眶的时刻。
▲ VR 冬奥赛事孪生推演与视听语言创意设计软件演示图(来源:北京大学)
从 VR 直播体验来看,北京冬奥会给观众提供了一个自由视角的 VR 直播,比赛画面也较为流畅。而北京冬奥会在大规模赛事中运用 VR 直播,以及实现 360 度高自由度观看,也为 VR 技术在文娱领域的应用增添新的成功案例。
二、既可以休闲,又可以训练,VR 技术用途多多
VR 技术带给人们高度仿真的情景,让人们不再受时间和空间的限制,可以瞬间进入自己希望去往的地方。这一点在疫情下拥有了更多的意义。此次冬奥会采用全封闭式管理的形式,如何给运动员们提供一个舒适、放松的环境,VR 技术从中起到了不小的作用。
1、什么 VR 游戏让运动员大呼过瘾?
除了 VR 技术在直播赛事上的运用吸引了不少人关注之外,VR 游戏也"蹭"了一波冬奥会的热度。在冬奥场馆内,VR 游戏区的设备吸引了不少国外运动员在这里流连忘返,纷纷前来打卡。
冬奥场馆内的 VR 游戏区不仅有太空模拟舱、4D 载人深海模拟器等,让运动员们可以一天之内上天入地,无处不去,还有模拟战场、VR 赛车等游戏,让运动员们大呼"过瘾"。
▲ 太空模拟舱
借着这次全民关注的运动盛会,游戏厂商纷纷推出 VR 冬奥系列 IP 如《奇幻滑雪》等。HTC 更是接连上线了 5 款运动游戏,其中两款游戏《奇幻滑雪 3》、《VR 冬奥会》是针对 VR 一体机推出的。三款游戏《极限滑雪》、《冰球大战 VR》、《Fantasy Skiing 2》是针对 PC 端推出的 VR 游戏。
其中,《奇幻滑雪 3》是目前较为热门的 VR 游戏,你可以通过 VR 设备感受到滑雪的乐趣。想成为下一个"谷爱凌"?你可以先用 VR 设备去体验一下滑雪的魅力。
▲ 《奇幻滑雪 3》滑雪场景
2、用 VR 模拟真实环境,运动员开启"刷分"之路
像游戏之类的 VR 设备主要是给运动员们提供休闲娱乐,让他们在紧张的赛程中放松一下绷劲的神经,而用于 VR 模拟训练的设备则不同,更高的精准度,更逼真的模拟环境才能为运动员们带来更有效地成绩提升。
像钢架雪车、雪橇、越野滑雪等这类运动往往具有较高的风险性。同时,冰雪运动的训练计划会受天气和环境的影响,一年时间里训练较少。VR 模拟训练器模拟的较为真实的虚拟环境,可以提供无限制的训练环境。并且,VR 模拟训练器精准收集的数据能够为运动员提供更多指导方向。
"这样一来,在一些技巧方面,运动员可以一天练习多次提高熟练度。"一位参与研发的人士说道,他们还为此打造了一套六自由度电动模拟体育训练系统。
整理相关资料时,我们发现不少北方大学参与到 VR 训练模拟器研发中。
东北大学不但打造了一个 VR 滑雪系统,还做了个滑行速度测量机器人。机器人可以收集最真实的环境信息,再将这些信息同步到 VR 滑雪系统中,让运动员们感受到最真实的环境变化,调整状态。
河北地质大学同样也制造了一款 VR 滑雪模拟器,模拟真实的滑雪环境,其脚下的六自由度机器人可以跟随滑雪地形进行实时的响应,为训练者提供视觉、听觉、风感、转向感、俯冲感、超重感、失重感等多感官交互,为滑雪者带来沉浸式的滑雪体验。
现在,VR 模拟训练在不少领域已经开始逐步落地,国外部分政府曾采用 VR 设备锻炼员工的反应能力。前不久,东方时尚公告采购 1000 台 VR 驾驶模拟器,金额达 1.8 亿元。IDC 数据显示,2020 年全球 VR 企业培训市场规模约为 13 亿美元。
▲ 用 VR 设备模拟案件场景
VR 训练在冬奥场景上的运用,让更多企业看到 VR 训练的实用性以及功能性,吸引更多的玩家加入其中。
三、虚拟数字人 24 小时为冬奥打工?谷爱凌再现分身术
说起来你可能不信,据不完全统计,至少有 25 个虚拟数字人正在冬奥会 24 小时"打工"。
百度智能云 AI 人机交互实验室负责人、主架构师李士岩曾告诉智东西,虚拟数字人可以按场景分为服务型数字人和演艺型数字人。其中,服务型数字人往往指具有一定功能的"虚拟员工",演艺型数字人更偏向文娱领域的"偶像"。
▲ 与北京冬奥会有关的虚拟数字人(来源:雷报)
最"值钱"的虚拟数字人应该属谷爱凌的虚拟数字分身 MeetGu。MeetGu 出现在直播间的次日,咪咕视频母公司中国移动的股价大幅上涨,涨幅达到 10%,市值达 1.44 万亿元,达 A 股上市以来最高值。
▲ 谷爱凌的虚拟数字人 MeetGu
事实上,不仅是谷爱凌的虚拟数字人,像徐梦桃、隋文静、韩聪、任子威等热门冰雪运动员均有自己的虚拟数字人。奥运会举办期间,这些虚拟数字人会在冬奥赛事演播室中完成滑雪赛事解说、播报及场景电商的虚拟互动等工作。
从冬奥会上,我们可以看到像这类由真人衍生出来的虚拟数字人同样能分担"正主"所带来的流量效应。
那么,数字分身和现实本人之间应该是什么样的关系?虚实科技 CEO 张金玉认为,目前,数字分身和现实本人之间的关系处在"各管各的"阶段,虚拟数字人并没有本人所具有的一些特性。"目前,国内大部分虚拟数字人都处在这个阶段。"她讲道。
张金玉认为,想要打造一个更具有本人特征的虚拟数字人,厂商们需要打通虚拟数字人和本人之间的信息壁垒。"设想一下,如果你的虚拟分身能够知道你今天看了哪些消息,并且同步学习这些知识,它是不是会对你了解更多,并且对你的兴趣也一清二楚。"
从不同的发展变化来看,未来虚拟数字人也许会帮助人们从繁琐劳累的工作中解脱出来,做更多的事情。但并非人人都喜欢虚拟数字人过度侵入自己的生活,就如亚马逊最新的 AI 助手 Alexa 广告一样,主人公最后说道,"也许 Alexa 不能读懂想法会更好。"
除了这类身份型虚拟数字人,功能型虚拟数字人同样受到不少厂商的欢迎。腾讯、小冰、百度纷纷带着自己的虚拟数字人在冬奥会上"露一手",手语翻译、电商带货、天气播报等各种类型的虚拟数字人开始"卷"起来了。
▲ 手语播报数字人
冬奥会上大规模的虚拟数字人应用,一方面打破了人们对以往单板、无趣、功能单一虚拟数字人的刻板印象。另一方面,虚拟数字人也在受到更多企业的关注。据调查,2022 年过了不到一个月,虚拟人领域融资数量已经达到近百起,融资金额达 4.11 亿元。由此看来,虚拟数字人行业正在落地应用上进入一波快速扩张的阶段。
结语:冬奥成 VR 落地应用大舞台
VR 直播、VR 训练、VR 游戏…… 冬奥会上出现越来越多的 VR 技术,这可能说明 VR 技术正在迎来新的关注度。
冬奥会不但向世界展示了国内最为先进的虚拟技术,而且对内,将校内科研人员和校外科技企业紧密地连接在一起,换而言之,也是 VR 圈内的一次交流会。
在这场交流中我们能看到像百度、腾讯等大厂的身影,也能看到不少创企,比如说蛙色 VR,也在其中发挥自己的力量。2022 年,元宇宙的热度似乎降温不少,但对于 VR 产业的关注依然在升温。
2022-05-06 00:31:20