医护人员远程 VR 控制，机器人帮你做核酸：支持双向反馈，研究登上 Science 子刊

让机器人做核酸采样，靠谱吗？

过去两年，多家研发团队研发了能让医护人员远程操纵机械臂完成核酸采样的系统。不过相比于"直接上手"，这些操作存在一个难点 -- 很难掌握下手的轻重。

▲ 中国工程院院士钟南山团队与中国科学院沈阳自动化研究所联合发起的新型智能化咽拭子采样机器人系统

毕竟不是医护人员自己的手，医护人员只能凭丰富的经验去想象应该把控多大的力度，来操控机器捅受检人员的鼻子、嗓子眼。

但假如能让机器人把触觉同步反馈给医护人员，那问题是不是就迎刃而解了？

1 月 14 日，一项由香港城市大学、大连理工大学、清华大学、中国电子科技大学学者合作的研究成果登上国际学术顶刊 Science Advances。论文中的机器人 VR 系统项目，解决的即是上述难题。

研究团队开发了一种灵活的电子皮肤贴片，它可以作为无线人机交互系统，应用于机器人 VR。只要贴上这个"魔法贴"，人类就能跟机器共享触觉。

该贴片既可以小到无感，也可以大成一件上衣，通过震动力度和频率来反馈触觉。当使用者戴上 VR 设备，他就能远程控制机器人，去完成宛如亲临现场的精细动作。

▲ 电子皮肤在智能机器人 VR 中的测核酸应用演示

以前市面上的多数 VR 沉浸式游戏，要增加触觉体验，往往需要用户装上外骨骼控制等笨重、庞大的触觉感知硬件设备。而新型电子皮肤有望使用户更轻便地在虚拟世界拥有真实的触觉感受。

机器人 VR 触觉反馈如何实现？研究解决了怎样的难点？未来又会有哪些新应用？

近日，智东西独家专访这篇 Science 论文的通讯作者、香港城市大学生物医学工程博士生导师于欣格，了解这项研究的幕后故事，并对其技术原理及应用前景有了更深入的认知。

医护人员远程控制，机器人帮你测核酸

机器人 VR 项目的起步，还要从 2020 年初席卷全球的新冠肺炎疫情说起。

当时，新冠肺炎疫情确诊病例不断上升、医护人员医疗资源短缺、核酸采样效率较低、医护人员的感染风险很大。这使得于欣格开始思考，能否开发一个远程非接触式控制采样机器人？

核酸采样机器人的好处很多，包括降低医疗成本、缓解感染风险等，钟南山团队、清华大学计算机系教授孙富春团队、南丹麦大学研究人员等都研发了智能化的核酸采样机器人系统。

但这些利用遥控手柄控制的机器人，对医护人员的操作准确度有很高要求。

于欣格团队观察发现，手术过程中，医生需通过屏幕判断手术进程，去想象有多大的反馈力度，这往往需要临床经验丰富的医生才能把控。

那么，能否在医生和机器人之间共享触觉，让机器人能将现场的触觉反馈同步给远程的医护人员呢？

将电子皮肤作为无线人机系统应用到机器人 VR 中的研究项目由此启动。

研究人员提出了一个设想，只要"贴上"智能电子皮肤，医生远程操控机器人时，就可以通过视觉、听觉、触觉全方位感知，近似于零距离感受手术过程，并且这在一定程度上，会降低手术机器人认证医生的标准。

▲ 电子皮肤在智能机器人虚拟现实中的应用演示

不过要将设想变为现实，还需跨过不少难关。

在机器人 VR 项目进展中，于欣格团队遇到的最大问题是，机器人和人体的双向反馈环节。这也是项目进展中花费时间最长的环节。

核心难点有两处：一是电子皮肤捕捉到人体动作后，如何将这个动作的指令精准传递给机器人？二是如何将机器人获得的触觉精准反馈给人类？

除此之外，机器人 VR 研究过程不仅涉及于欣格团队擅长的生物医学工程，还会涉及材料、电路、力学优化、有线反馈通路、软件开发及界面优化等。

因此，他们联合大连理工大学、清华大学和中国电子科技大学的多位优秀人才通力合作，最终在这样庞大的应用工程型项目中取得进展。

皮肤还可以变上衣，震动映射触觉反馈

回到研究本身，新型电子皮肤的控制面板整体尺寸为 57mm x 39mm x 0.8mm。

研究人员在电子皮肤中采用了多层堆叠布局，其中一层肤色弹性硅（聚二甲基硅氧烷，PDMS）可用作皮肤的软黏合剂，由聚酰亚胺（PI）互连一系列芯片和传感器，包括电阻器、电容器、蓝牙模块、微控制器单元（MCU）、电桥和研究人员自主开发的软传感器、执行器。

▲ CL-HMI 电子皮肤的组成结构

电子皮肤中的设计均根据完善的力学设计规则成丝状蛇形结构，从而使整个系统具有可拉伸性。另一层肤色弹性硅（PDMS）用来封装所有功能组件。

▲ 电子皮肤中的蛇形结构设计

于欣格说："电子皮肤的最终形态取决于我们想要实现的功能，它可以是一个近乎无感的小贴片，也可以是一副手套、一件上衣或者一件连体衣。"

延伸到机器人 VR，论文写道，研究人员佩戴四个电子皮肤集成的贴片来控制一个 13 自由度的人形机器人，这个机器人能够完成人类的大部分动作。

通过配备相应传感器，机器人能同步体验来自前臂、上臂、大腿、大腿侧面、腹部的压力。

实验过程中，还能根据具体应用，自由选择弯曲传感器和触觉致动器的数量，同时佩戴 VR 设备，同步机器人电子眼获取的视觉信息。

如此一来，机器人 VR 系统就可以作为在无线操作模式下远程控制机器人的操作平台。

▲ 手套形状的电子皮肤操纵遥控车模拟实验

关于触觉反馈的实现方式，于欣格说："我们通过不同的震动强度以及频率来代替触觉。"震动的范围可能是从低频敲击式的震动到类似于手机震动的状态。

在研究过程中，研究人员会为使用者建立映射标准，使用者经过训练和熟悉后能够逐渐适应震动反馈，但目前为止，映射标准会因身体部位、使用者等多种因素而异。于欣格告诉智东西，他们也正在探索实现更真实映射的技术。

通过互联网传输，不到 50 毫秒就可轻松响应

除了触觉感知外，机器人 VR 系统的无线传输功能同样神奇。

这块电子皮肤上安装了 7 个弯曲传感器和 5 个执行器。这些传感器和执行器可以直接连接到电子皮肤中 MCU 的模拟数字转换器（ADC）和通用型输入 / 输出（GPI / O）接口，用于多通道传感和驱动。

电子皮肤中包括读取信息的传感器、用于发送信息的无线发射器，以及有助于触觉反馈的小型振动磁铁。

这些传感器以锯齿形方式放置的电线组成，当贴片弯曲时，这些电线被拉得更直，弯曲、放直手臂时可以向机器人传输有关身体运动的数据。

研究人员称，这些传感器可以将人体运动转换为电信号，由 MCU 进一步处理并通过无线传输到目标机器人。同时，机器人上的压力传感器检测到与外部环境的接触，通过蓝牙模块控制触觉执行器的振动强度，为用户提供触觉反馈。

为了进一步说明电子皮肤实时无线操作的性能，研究人员测量了 1-5 米距离范围内的电子皮肤循环响应速度，包括信号传感、数据传输、信号接收、制动响应等环节。

研究结果表明，影响电子皮肤无线传输距离的因素有：顶部肤色弹性硅封装层厚度，人体中复杂的生物组织可能吸收电磁辐射等。

在完善机器人 VR 的触觉反馈方面，于欣格说："我们现在可以通过调整电子皮肤的位置和结构解决上述问题，同时也会和更专业的通信领域专家合作，融合相关技术，继续探索机器人 VR 在无线通信传输领域的潜力。"

▲ 电子皮肤的无线传输距离实验数据

除了蓝牙操作模式外，电子皮肤还支持 Wi-Fi 和互联网两种无线通信模式。

对于 Wi-Fi 模式，只要操作区域被同一个 Wi-Fi 网络覆盖，无线传输范围就可以扩展到数百米。在互联网操作模式下，无线传输距离可以扩展至互联网覆盖的任何地方，其响应时间范围为 30.2 到 47.8 毫秒。

打造线下版元宇宙，除了听、看还能摸

除了医疗领域，触觉反馈也可以应用到社交、娱乐、假肢传感等方面，进一步提升用户体验。

如果将 VR 设备、触觉反馈和现有的在线视频软件相结合，从听觉、视觉延伸到触觉，隔着屏幕，用户就能感受到与远方亲友握手、拥抱的实感。

去年爆火的"元宇宙"概念中，人们需在虚拟世界建立一个自己的虚拟化身。而要让这个虚拟化身与人类感同身受，必然离不开触觉技术的进化。

早从 2018 年，于欣格就长期专注于触觉反馈研究，探索 VR、机器人与电子皮肤的结合。此前，其团队研发的皮肤 VR 进展曾于 2019 年底发表在国际学术顶刊 Nature 上。皮肤 VR 系统就搭载了近场通信技术（NFC），远在千里之外的人通过抚摸和滑动屏幕，就能无线控制皮肤 VR 的触觉驱动。

在他看来："机器人 VR 可以理解为线下版的元宇宙。"

在现实世界中，很多危险系数高、环境极端的任务需要机器人辅助，这就需要触觉反馈和传感一体的闭环人机交互系统。

于欣格谈道，在虚拟世界中控制机器人，用户只需要将指令发送给软件，而在现实世界，多了指令和硬件的交互环节，控制机器人的难度更高。

机器人 VR 系统主要针对于人机交互。于欣格也补充说，从机器人精准感知角度来讲，他们的研究团队已经有了相关成果，现在电子皮肤中的震动单元大小成功缩小到将近之前的 1/4，单位面积上单元集成度也大幅提升。

在娱乐应用方面，于欣格为我们举了一个例子，《铁甲钢拳》电影中机器人争斗替代了暴力、血腥的搏击运动。在未来，利用机器人 VR 和皮肤 VR 控制机器人决斗，也是该领域的潜在应用场景。

▲ 《铁甲钢拳》中人和机器人同步动作片段

机器人 VR 还可以用在健康领域的假肢传感。

失去上肢或下肢的特殊人群安装假肢后，往往无法仅通过观察来掌握力度大小，而将电子皮肤安装在他们的截肢末端有望改善这个问题。

于欣格解释说，电子皮肤在控制假肢运动的同时，还可以将物体的硬度、重量等信息反馈到截肢末端的电子皮肤上，使用户能感受到真实的力度、硬度反馈，从而控制力度的大小。

据于欣格透露，他们也正在筹备初创公司，探索机器人 VR 的落地，目前更偏向医疗应用领域等 to B 的工业合作伙伴。