来源：学术头条
作者：闫一米 编辑：学术君
如今，人工智能（AI）不仅越来越多地被应用在科学和商业领域中，而且在艺术领域也开始崭露头角。
当人们对层出不穷的 AI 技术感到惊叹时，一项新的 AI 壁画修复技术出现了。
近日，为解决中国古代壁画杰作永乐宫壁画的“修复难”问题，来自山西大同大学、马来西亚理科大学、大理大学的研究团队提出了一个能够修复巨型壁画的 AI 模型——3M-Hybrid。
据介绍，与四种代表性卷积神经网络（CNN）模型中的最佳模型相比，该模型在常规尺寸的壁画修复中将 SSIM 和 PSNR 分别提高了 14.61% 和 4.73%。此外，它在巨大壁画的最终修复中也取得了良好的结果。
相关研究论文以“A 3M-Hybrid Model for the Restoration of Unique Giant Murals: A Case Study on the Murals of Yongle Palace”为题，已发表在预印本网站 arXiv 上。
AI 如何修复大尺寸壁画？
永乐宫壁画位于山西省芮城的永乐宫（又名大纯阳万寿宫），其艺术价值最高的首推精美的大型壁画。整个壁画共有 1000 余平方米，分别画在无极殿、三清殿、纯阳殿和重阳殿里。
作为宝贵的文化遗产，永乐宫壁画代表了中国绘画史上的艺术杰作。然而，由于长期缺乏维护，这些独特的壁画出现了许多缺陷，修复壁画成为了一项紧迫的任务。
与手工修复技术相比，数字修复方法更加高效和可逆，特别是基于深度学习的图像修复技术取得了显著的成就。然而，对基于深度学习的壁画修复文献主要关注敦煌壁画或其他常规尺寸的壁画，缺乏专门针对永乐宫壁画及类似巨大壁画修复的研究。
与其他关于壁画修复的研究相比，巨大的永乐宫壁画的修复工作面临两个主要挑战：1）永乐宫壁画具有稀缺性和独特的风格；2）壁画尺寸巨大，模型在修复不同类型和尺寸缺陷方面的熟练程度有限。
图｜永乐宫壁画残缺的类型和规模上各不相同，实际残缺的表现形式也更加多样。
据论文描述，此次研究提出的 3M-Hybrid 模型能够有效修复永乐宫壁画。其中，“3M”指的是三个关键策略：多频率、多角度和多尺度，而“Hybrid”指的是混合型 CNN-VIT 网络。
首先，研究团队将巨大的壁画分割成常规尺寸的部分进行修复，然后将修复后的部分重新组装成原始尺寸。为了使常规尺寸壁画修复模型能够在有限的图像数据量下有效处理各种类型和尺寸的缺陷，研究考虑了两个方面：优化训练数据和完善模型结构。
为了实现更好的修复效果，该研究采用了专门用于学习和提取这些高频和低频信号的独立网络，从而增强了在这些特定频率范围内的特征学习和修复能力。基于频率的训练方法使模型能够有效处理不同尺度和类型的缺陷。
在模型结构方面，该研究将卷积神经网络（CNN）与预训练的视觉变换器（VIT）集成在一起，从而增强模型的特征提取能力。
此外，在修复巨大壁画时，基本的切割方法在修复超大尺寸的缺陷时会导致接缝间隙和结构失真。为了解决这个问题，研究团队采用了多角度策略来减小间隙，并使用了多尺度方法，结合切割和缩小方法。这确保了精确的修复，同时增强了壁画整体结构的提取，解决了多尺度缺陷的问题。
从可视化的表现来看，该模型在自由粉尘状、自由胶状和自由线性掩膜的修复结果方面表现出可观的效果。此外，对自由形状块掩膜的修复结果展现了保留的结构完整性和可信的纹理。3M-Hybrid 模型被证明是恢复这些独特而巨大壁画的可行方法。
然而，该研究也并非完美。
首先，研究提出的方法依赖于多次实验以选择三个尺度融合权重的最佳值。然而，考虑到权重设置涵盖了无数的可能性，而实验次数有限，这种方法可能不够精确。因此，基于实验结果确定的权重值只能保证相对有利的最终结果。
其次，研究使用的评估指标不够客观。目前使用的四个评估指标没有对图像结构进行全面评估，通常不能准确反映人类对图像的感知和评价。
但是，不可否认的是，该研究探讨了深度学习在巨大壁画修复中的应用，特别关注了利用深度学习技术来修复永乐宫壁画，其代表了首次尝试探索大规模艺术品的深度学习修复方法。
另外，在改进常规尺寸图像修复模型方面，该研究从数据和结构两个角度综合改进。这为未来研究提供了对修复独特小数据集的新见解。
帮助人类延续文物生命
过去几年间，人们也见证了 AI 技术和文物历史的奇妙结合。
2020 年，一位名叫“大谷 Spitzer”的微博网友，便利用 AI 技术将人民日报 4 年前发布的 1920 年北京黑白影像资料做了修复，完成了上色、修复帧率、扩大分辨率等工作。
2021 年，腾讯多媒体实验室也与敦煌研究院合作，利用深度学习方法分析敦煌壁画病害数据，开发出了高效的 AI 壁画病害识别工具，同时提供了沉浸式远程会诊技术，使用 4K 超清画质的 360 度画面展示洞窟内景象和文物细节，实现了无障碍远程文物会诊。
今年 6 月，在成都举办的遗产日主场城市活动“文物保护利用与文化自信自强”主题论坛上，腾讯展示了运用 AI 技术完成的三星堆人机协同模拟拼接效果。
AI 技术在文物修复领域的诸多应用令人兴奋。未来，期待 AI 技术在文物保护、修复等方面能够更进一步，帮助人类延续文物生命。
论文链接：
https://arxiv.org/abs/2309.06194