AI 修复历史珍贵影像,教你如何用彩色高清还原 70 多年前的场景
你对"历史"这个词的第一印象是什么?
很多人的脑海中最先冒出来的,或许是像下面这样粗糙颗粒、老旧模糊的黑白影片:
△图源 1951 年纪录片《抗美援朝》
但现在,在 AI 修复技术的帮助下,那些模糊的影片也能被赋予色彩:
在听到最新一批在韩中国人民志愿军烈士遗骸将于 9 月 2 日被移送回国的消息之后,"AI 修复师"大谷 Spitzer 便再一次用这种独特的方法,表达了自己的哀思。
而共青团中央官博也转发了这段 AI 上色后的特殊视频,并表示:
山河无恙,英雄不朽。
历史并非黑白无声
就如同电影《你好,李焕英》中,那段仿佛"一脚踏入现实"的从黑白到彩色的镜头一样。
当这段 70 年前的纪录片染上色彩之时,我们这些观者也不禁有一种向历史踏近了一步的感觉。
有穿着绿色军装,扛着红旗前行的小战士们:
有挤在绿皮火车上,与自己的亲朋好友告别的军人们:
还有踩在黄色土地上,从鸭绿江上横跨而过的队伍:
制作者大谷 Spitzer 表示,"每次修复这些历史影像,都能给我带来很大的震撼"。
而在之前的"让革命先烈露出微笑"的项目中,他也解释了自己所认为的"AI 修复的意义":
我会把它定义成五分钟彼岸的一个概念。
就是说,在这种纷繁复杂的现代社会中,可能抽个五分钟去看一段古代的影像,或者以前的影响,看看当时的古人们是如何生活的,他们所思所想是怎样的。
AI 如何修复
对于这次修复,大谷坦言,"技术难点在于多人物镜头的修复"。
因此,他使用了支持 TensorFlow、Flink 等多种计算框架的机器学习平台 PAI。
在平台中,他增加了更多参考帧,并与其他的 AI 上色分辨率提升模型进行拼合,最终达到了很好的修复效果。
而在之前的项目中,大谷 Spitzer 也对自己所使用的 AI 修复技术进行了详细解释。
比如,用于脸部高清增强的是 GAN 先验嵌入式网络,也就是 GPEN(GAN prior embedded network)。
这一网络架构会将 GAN 先验网络嵌入到深度神经网络(DNN)中,并从中进行微调。
上色的则是基于 NoGAN 技术的 DeOldify,这种新型的 GAN 训练模型能够解决视频中物体闪烁等问题:
此外,还有负责视频帧插值的 RIFE,用于脸部生成的 Artbreeder,以及增加分辨率的 Topaz Labs。
那些相隔百年的对视
其实在 AI 修复技术愈发成熟的今天,已经有越来越多的项目开始用到这项技术。
比如大谷 Spitzer 在去年就做过"晚清时期的北京"影像修复,玩了一把百年前的"老北京 Vlog":
而今年五月四日,央视还在 AI 修复节目《彩绘中国・觉醒》中展示了一段彩色的五四运动现场:
这一节目的执行编导说到他们为老影像进行修复上色的初衷,只是"想还原一段历史"。
因为当时的人们并非生活在黑白无声的世界里。
我们所有的努力就是想向老影像致敬并以电影的体验方式呈现出来,以此把观众带入到那段时空当中去,感受一百年前人们的精神风貌。
这也正像是这位网友所说的那样:
我们周围的高技术越多,就越需要人的感情。
最后附上完整视频:
2022-05-06 12:00:39