材料 3D 微观扫描图像易受损，AI 能高质量秒修复

8 月 19 日消息，近日，俄罗斯斯科尔科沃科学技术研究院和比利时鲁汶大学的研究人员设计出一种神经网络方法，可修复材料 3D 微观扫描图像。

在材料研究中，想要看清材料微观结构，就需要对其进行扫描和成像，现有技术成像会出现图像存在瑕疵的问题，所以需要进行修复，研究人员设计的三种算法均能快速修复图像，不过性能存在差异。

该研究论文题目为《基于深度学习的纤维材料的微计算机断层扫描图像修复（Inpainting micro-CT images of fibrous materials using deep learning）》，已发表在 Computational Materials Science 上。

论文链接：

https://www.sciencedirect.com/science/article/abs/pii/S0927025621002780?via%3Dihub

一、Micro-CT 扫描图像，常出现伪迹阴影等问题

微计算机断层扫描（Micro-CT）技术在研究人员研究纤维增强复合材料和其他复杂材料的 3D 微观结构时，非常有用。

Micro-CT 是一种对物体扫描成像分析的技术，其分辨率可达几微米，方便对三维物理对象进行分析。但此技术存在局限性，当样本很小时，使用 Micro-CT 得到的图像经常有伪迹和阴影、缺失或损坏的区域。

为了解决此问题，研究人员从艺术领域汲取了灵感和专业知识。在艺术领域，损坏的画作要求必须在修复的同时保持其整体完整性。因此，在数字图像处理中，图像修复/填充（inpainting）已经成为一种常用技术。

研究的第一作者、斯科尔科沃科学技术研究院和鲁汶大学博士米尔・卡拉莫夫（Radmir Karamov）说："人工智能图像修复（AI inpainting）的主要优点是速度。有了训练过的模型，我们可以每秒处理 100 张图像，如果让人来做，需要的时间要长得多。"

他还谈道："计算机在处理 3D 图像方面也非常出色，因为它们从四面八方都能'看到'图像，并且可以立即重造整体。"

随着图像修复技术和深度学习技术的发展，特别是生成对抗网络（Generative Adversarial Network，GAN）的发展，有效地重建图像缺少或损坏部分，或创建一个新的（部分）图像成为可能。

但研究人员发现已有研究中缺乏关于处理 3D Micro-CT 图像的技术。

二、研究人员根据质量和性能要求设计出三种架构 GAN

研究人员使用 3D 编码器-解码器 GAN，来研究可用于 3D Micro-CT 图像修复的工具。

他们解释，复合材料中包含的增强体（如纤维），在三维空间中随机定向，这就是为什么人们必须使用 3D 图像来表示这种复杂的内部微观结构。

由于更传统的卷积神经网络无法提供这项任务所需的精度，所以该团队改选了 GAN（生成式对抗网络）。

卡拉莫夫谈道："在 GAN 中，研究人员不是通过训练单个神经网络来重建图像，而是训练两个相互竞争的网络。生成网络（generator network）试图生成看上去像真的的假图片，判别网络（discriminator network）检查图片并试图确定它们是真还是假的。"

他补充说："正如 GAN 的发明人伊恩・古德费罗（Ian Goodfellow）所说，你可以认为这是造假者和警察之间的比赛，造假者想要制造看起来真实的假钞，而警察想查看任一特定的钞票，并判断是否是假钞。"

研究人员考虑算法对图片的修复质量，以及运行会占用的 GPU 内存情况，设计了具有三个（CNN3）、五个（CNN5）和七个（CNN7）卷积层的三种不同的 GAN 架构，来修补丢失的数据。

这三个 GAN 中的判别网络结构相同，但生成网络的可训练参数深度和数量不同。

三、训练后的 GAN 算法修复图像耗时不超一秒

研究人员利用压缩成型的短玻璃纤维增强热塑性复合材料的图像对所开发的算法进行测试。图像数据集（连续生成的）是基于分辨率为 4.4μm 的 300×300×900 pixel3 的 Micro-CT 图像开发的。

神经网络分别针对 CNN7、CNN5、CNN3 模型训练了 24 小时或进行了 234000、306000、428000 次迭代。在每个案例的训练过程中，MSE 误差不断减小，直到训练停止。训练后的算法模型完成图像修复耗时不超 1 秒。

具有超过 6000 万个可训练参数的最深神经网络（CNN7）修复完成的材料结构图片，其材料各向异性（anisotropy）程度的平均误差约为 0.4%，方向张量（orientation tensor）的平均误差约为 2%。

CNN5 和 CNN3 表现出较低的图像修复精度和较高的物理指标误差，两种算法误差比 CNN7 高 2 倍。它们可以在数据集所熟悉的图像中预测正确的纤维特征。

研究人员还比较了 GPU 内存的消耗，CNN7 的高性能与其高 GPU 内存占用形成对比，内存消耗高达 CNN3 的 17 倍。

CNN3 或 CNN5 等深度学习架构更适合对结构更一致的 Micro-CT 图像进行精确修复，而 CNN7 更适合随机结构的材料。

卡拉莫夫说："通过修复算法，我们可以消除 Micro-CT 扫描图像中的所有缺陷，更精确地模拟材料特性，并分析如果在制造过程中去除所有内部孔隙和空隙，材料性能将如何提高。"

他补充道，修复算法只是新材料自动生成算法的第一步，这可以使科学家能够根据特定应用所需的特性设计材料。

结语：机器学习加速新材料出现

在材料研究中的材料数据收集、材料数据处理、材料数据分析等各个环节，都有了机器学习、人工智能等技术的身影出现。

新材料的开发与机器学习等技术联系越发紧密，无论是新材料的开发还是新材料的寻找，这些技术都能帮助人类更快实现预期目标。