下一个十年，看影创科技如何开启元宇宙时代

在 10 月 29 日凌晨一点（北京时间）的 Facebook Connect 2021 大会上，马克・扎克伯格宣布 Facebook 公司正式改名为 Meta，并且描绘了许多元宇宙的场景，以体现 Meta 拥抱元宇宙的决心。

我们注意到，在近两小时的 Keynote 环节中，扎克伯格提及了一款将于 2022 年推出的短焦 VR 一体机，代号"Project Cambria"，采用 Pancake 光学方案，拥有彩色的透视功能，这意味着 VR 设备将不再只是一台游戏机，而是变成生产力工具或者说效率工具，其应用场景将扩展至办公、会议，普及程度也随之实现量级提升。这一方案印证了此前影创预测的 XR 产品演进路线，与我们的自研算法与技术积累方向不谋而合。作为国内一家能同时提供 VR/AR 全栈产品级算法与系统的公司，影创多年以来一直在致力于研发光学、算法等底层技术的研究，并将这些技术开放授权给众多合作伙伴。

一直以来，VR 被当作游戏机为大家广泛熟知。Cambria 的出现，VR 与 AR 的融合，将催生出很多新的应用场景，开启 VR 新世界。VR 设备将成为像电脑和手机一样的生产力工具，融入我们的日常生活，成为生活、工作中不可或缺的一部分。佩戴上 VR 设备进行多地多人虚拟会议、又或是替代电脑成为我们的移动式办公工具，无论你身处何地都能实现多屏办公；无聊时还能足不出户和朋友一起跨空间玩一个线上沉浸式剧本杀放松一下；如果你很忙没时间去健身房，那还能来一场酣畅淋漓的 VR 运动……

（多屏办公）

（虚拟会议）

（运动健身）

那么，让我们来解析一下，要实现 Cambria 上述功能和应用场景，需要哪些核心技术与算法，以及影创在这方面的累积成果又有哪些呢？

01-佩戴方式

（左为 Cambria 渲染模型；右为"骐骥"）

产品的舒适度，是影响消费者选择的重要因素。VR 设备作为头戴式产品，即便许多消费者更习惯追求超高清画面或是良好的沉浸感，但长时间佩戴后，脸部受压迫，肩颈也会受到来自头部的压力，不适感与疲惫感随之而来，从而导致体验感变差，使用率大大减少。从 Cambria 的预告视频中，我们了解到通过环形佩戴这种方式，将电池至于脑后位置的科学配重，有效分散了佩戴 VR 设备时的脸部压力，更符合人体工程学，进而减少 VR 设备因沉重无法长时间佩戴的问题。而这，与我们今年 1 月展示的 6DoF VR 公版样机"骐骥"的佩戴设计理念不谋而合，不得不感叹一句"英雄所见略同"。

02- Pancake 光学方案

（Cambria Pancake 光路示意图）

Pancake 光学方案会使 VR 设备的体积缩小（前壳厚度从 7cm 左右变成 2.5cm 左右）、重量更轻（前壳重量从 400g 左右变成 150g 左右）。这是由于 Pancake 方案采用多镜片折叠光路，可以使 VR 设备内部结构更加紧凑。但是光路的复杂程度直接导致了光学模组加工工艺难度的攀升，控制良率的难度相比传统光学的单片菲涅尔透镜更高。轻薄的光学模组加上环形佩戴方式，消费者在佩戴 VR 设备时舒适度会明显提升。

Pancake 光学方案可以实现大视野、出色的图像性能以及超紧凑的尺寸，毋庸置疑这三点与未来 VR 设备的需求完美契合。因此，VR 设备在体积和重量上都有新的跨越后，可供长时间佩戴，并且移动性增强，其应用场景的选择性将更为广泛。未来的 VR 设备将不仅仅只是娱乐工具那么单一，而是变成了生产力工具。影创已经联合合作伙伴在 Pancake 光学方面做了多年的研发设计和方案积累，可以满足多类屏幕和显示参数的需求。

03-彩色 See through

（Cambria 彩色 See-through）

目前，VR 设备使用空间范围有限，这也是行业一直在攻克的难关之一。VR 设备作为沉浸式体验设备，佩戴后看不见真实世界，用户在使用时频繁地脱摘非常令人头疼。在本届大会上，See-through 功能的重大改进也是亮点之一，从原先 Quest 2 的低分辨率单色 See-through 系统提升至高清晰度彩色 See-through 功能，用户能够在佩戴 VR 设备时，通过开启对外的彩色摄像头看见高清、彩色、无扭曲低延迟的真实世界，如此看来，VR 与 AR 相融合的时代正在悄悄来临。

若要实现高清晰度彩色 See-through 功能，则需要在 VR 头显上最少装置 2 个 RGB 摄像头。摄像头存在着天然物理延迟的问题，因处理的信息量增长，高分辨率 RGB 摄像头的延迟会比原先的灰度摄像头更高。为了降低高分辨率 RGB 摄像头的物理延迟，我们通过空间扭曲等一系列的技术对画面进行预测及三维重构，将真实世界通过渲染的方式呈现在用户眼前，以此填补掉帧带来的画面缺失，从而降低物理延迟带给用户的不适感。另外，虽然 RGB 摄像头比灰度摄像头的物理延迟更高，但它能识别更多色彩，因此鲁棒性更好，可以在更复杂的光照环境下使用，更精准地识别手势追踪，SLAM 空间定位功能也会随之提升。

当 VR 设备最重要的一个缺点被克服，便意味着其移动性大大增强。用户不再拘泥于一个划定的空旷环境，也不再需要频繁地摘脱，而是能够一键轻松切换虚拟世界与真实世界，VR 与 AR 相结合的设备，确实非常令人向往。

可以预测，未来五年高端 AR 眼镜将以 Cambria 的形态出现。目前市面上一些价格昂贵的高端 AR 眼镜以及它们的应用场景都将被具备彩色 See-through 功能的 VR 设备取代，因为它同时拥有更大的视场角、更好的显示效果以及更低的价格，将全面替代目前传统光学高端 AR 眼镜涉足的教育、工业、文旅、医疗等行业。不难预见，在不远的将来，整个 XR 行业会有更大的格局变化。

04-手柄自追踪

（Cambria 手柄）

上述我们说到，Cambria 将使用 RGB 摄像头实现高清晰度彩色 See-through 功能，能够让用户在佩戴 VR 设备的情况下依然可以看见高清彩色真实世界。但 RGB 摄像头没有灰度摄像头的滤光片，无法很好地识别红外光，从而导致现在大部分 VR 设备所使用的红外 LED 式圆环追踪方式无法实现。那么，问题就来了，当 VR 头显无法追踪手柄，手柄该何去何从？答案很简单，手柄实现自追踪。

我们猜测，Cambria 新手柄采用自追踪模式，手柄上安装有 3 个不同方向的相机，用于视觉 VIO 跟踪定位。工作原理大概是手柄端实时进行视觉 VIO 算法，独立解算位姿，并与头显进行视觉标定。使用 RGB 摄像头后，手柄能够 360 度追踪，不再受限于设备传感器的 FOV（视场角）大小，能够获得更大自由度的交互体验。手柄自带算力实现独立 SLAM 空间定位后，原先集中于 VR 头显的算力负担会分散，减少了负载和功耗，头显可以设计得更加轻便。另外，由于取消了红外 LED 灯环，头显上的摄像头采用可见光跟踪，可以适应更复杂的光照环境，改善在室外场景的使用体验。

而实现手柄自追踪，有一定的难度。首先，它需要在手柄上搭载更复杂的算法和更高算力的芯片。我们长期以来致力于研究高性能、低消耗的 SLAM 算法，因此能很轻松地在手柄上实现定位追踪。其次，当头手没有实时联系时，头部和手柄的坐标系要做到三点统一需要一系列地图和物体识别的技术，而我们同样也有着这方面的雄厚积累。

手柄独立意味着，将来它不再是 VR 产品的固定配件，而是成为一个选配件。那么，当 VR 设备可以脱离手柄后，我们该以其他何种方式交互呢？让我们一起往下看。

05-自然手势识别

（Cambria 手势）

当 VR 设备搭载 RGB 摄像头后，可以识别更多色彩，鲁棒性更好，可以更精准对手部动作进行识别。因此，自然手势识别成为 VR 设备交互的最佳选择。在日常使用场景中，用户可以随时随地戴上 VR 设备，通过自然手势进行一系列的操作，不需要再携带手柄，实现真正意义上的移动式便携。

影创科技一直致力于自然手势识别技术的研发，鲁棒性好、低功耗、低时延、视场角大，在行业中属于前沿水平。影创科技的全自由度自然手势基于 30 个自由度以及用户个性化的手掌参数，为用户创造更"本能"更"真实"的交互体验，可以不受固定姿态的限制，以任意手姿势与虚拟对象进行交互，学习成本低。而手势识别功能的增加，在 VR 与 AR 相融合的时代，将提升用户的交互体验，VR 设备的移动性及实用性都将逐步提升。

（影创全自由度自然手势）

06-虚拟键盘

（Horizon Workrooms-虚拟键盘）

随着 VR 设备功能的增加，其将从原先的娱乐产品蜕变成一个集娱乐、办公、生活于一体的新一代通用计算平台。当我们想足不出户玩一个沉浸式大型 VR 游戏的时候，便可以拿出手柄；当我们想办公、社交时，自然手势则是最佳交互方式，当代替鼠标的自然手势实现之后，它的好搭档 -- 键盘，自然也是不可或缺的一项。

通过深度学习算法，未来 VR 可以把重建好的虚拟键盘模型和实际物体贴合叠加，然后进行跟踪，并且对其姿态进行准确估计，从而实现虚拟键盘的应用。虚拟键盘、自然手势，甚至更多虚拟配件的出现，将帮助用户实现无空间无时间限制的办公方式，社交自然更是不言而喻。

影创物体锚点系统具备从物体建模到物体跟踪的全流程系统。物体建模操作简单，成功率高，还支持自建的模型和其他平台建立的模型。物体跟踪高精度高鲁棒性，可以实现精准虚实叠加，精度达到了毫米级，叠加键盘自然也不在话下。

（影创虚拟键盘）

另外，未来通过摄像头，我们还可以对整个房间拍摄的图像进行深度估计，并且对计算出来的深度点云信息进行融合，最终对房间建立一个完整的几何描述。最终建立整个房间的具体位置的虚拟空间的对应关系，从而将数字信息永久的放置在现实世界中。

07-多任务 3D 屏幕

（Cambria 多任务 3D 屏幕）

由于各种原因，许多人都需要多显示器设置。但由于物理空间的限制以及多显示器需考虑成本等多种因素，无法实现多屏办公。然而，在虚拟现实的加持下，我们可以坐拥多屏 3D 交互，办公、社交、观影、游戏、音乐等等，你想要的都可以同时进行。最重要的是，它既没有物理空间的限制，也没有成本预算这种现实问题的考量。伴随着自然手势与虚拟键盘功能的推出，多任务 3D 屏幕将成为未来用户的办公选择。无论用户身处何处，只要有一个 VR 设备，便可以扩展自己的工作空间，实现办公、社交、娱乐无缝切换。21 世纪的我们，生活的主力依靠着手机与电脑、平板等电子产品。畅想一下未来，以上这些产品都被压缩成一个便携式设备，是何等便捷？

就在今年夏天，我们对外预告了新系统 Tesseract OS，并推出了体验版，邀请众多开发者与用户体验。Tesseract OS 采用了多任务窗口，采用全新 Dock 栏，弧形大屏等新风格，与 Meta 所公布的多任务 3D 屏幕再一次不谋而合。另外我们还加入 ASW、PTW 等众多渲染技术上的升级，降低延迟和眩晕，提升用户体验。

（Tesseract OS 多任务 3D 屏幕）

08-体积视频

（Cambria 体积视频）

体积视频简单来说就是将一连串的三维模型连接在一起，并让他们动起来，能够自由视角观看。体积视频给视频赋予了体积的概念，让二维视频内容成为三维立体。它利用摄像机采集到的深度色彩等数据通过算法将现实世界通过三维模型展现出来，可以在任何平台上（手机、电脑、平板、VR 设备等）播放，用户可以在任意时间任意角度进行观看，即赋予用户使用 6DoF 观看视频的权利。

简单来说，就是实现全息影像功能。我们可以通过 VR 设备，看到一个身处不同空间的三维真人影像。在疫情肆虐地球的当下，全息影像的功能显得尤为重要。在 Meta 公布的视频中，我们也看到了未来新健身的模式，在任何场合，都会有全息教练在用户眼前指导用户如何健身。不仅如此，体积视频还能用于远程会议场景。会议是办公里最无法克服空间问题的一项内容，而虚拟会议能够彻底解决解决空间所带来的无法跨越的鸿沟。

想必大家对影创全息会议系统一定不陌生。它是一种全新的会议模式，能够实现远程合作及跨平台信息分享，达到多人、多地的实时沉浸式会议。影创全息会议能够实时传输亚厘米精度的全息真人形象，且支持自然手势、手柄及语音等多种交互方式，更支持多种类的虚拟数字形象，可谓是科技赋能新办公模式。如此一来，VR 设备成为生产力工具指日可待。

（影创全息会议系统）

综合来讲，Tesseract OS 集成上述所有自研算法与技术，从而实现高性能、低延迟、丰富功能，也是目前行业内少有能够提供一站式解决方案的操作系统。相信就像 Windows 之于 PC，Android 之于手机，Tesseract OS 将赋能 VR 成为新生产力工具。趣立科技是影创集团对外输出 Turn-Key 方案的平台，在底层算法和技术方面有雄厚积累，是国内能同时提供 VR/AR 全栈产品级算法与系统的公司，并将这些技术开放授权给合作伙伴。元宇宙时代的序幕已经拉开，一同跨入元宇宙世界的大门吧！