近日，由赵磊、邢卫和鲁东明老师指导的2018级直博生王志忠同学一篇题为“AesUST: Towards Aesthetic-Enhanced Universal Style Transfer”论文被ACM International Conference on Multimedia2022（简称ACM MM 2022）录用，该会议是计算机学科领域的顶级会议，被中国计算机学会推荐为A类会议（即CCF A类会议）。

风格迁移中的美学不真实问题

   风格迁移的目标是将一幅给定参考图像的艺术风格转换到另外一幅内容图像上，例如，将Vincent Van Gogh的《向日葵》的风格转换到日常照片上。继Gatys等人在2016年发表的开创性工作之后，这项任务在效率、质量、通用性、多样性和用户控制等方面都取得了重大进展。

   通用风格迁移作为风格迁移的核心任务，其目标是同时实现通用性、质量和效率三个方面。根据对内容特征和风格特征的处理方式的不同，可以大致将现有的通用风格迁移方法分为两类，即基于全局统计量的方法和基于局部patch匹配的方法。前者主要对内容特征进行转换，使其二阶全局统计量与风格特征相匹配，以此来实现通用风格迁移。而后者则利用基于patch的装饰器或注意力机制将风格特征局部融合到内容特征中。这些方法虽然取得了良好的效果且速度和通用性都表现得较为不错，但它们生成的结果通常会产生一些不和谐的纹理和明显的人工伪影，与真实的绘画作品相去甚远。相反，一件可以以假乱真的优秀风格迁移作品应该在人类的美学感知中尽可能的真实，也就是说它的艺术特征，如颜色、笔触、色调、纹理等，都应尽可能的和谐且视觉上令人愉悦和满意。因此，我们将目前的通用风格迁移方法所存在的这一问题定义为美学不真实问题并寻找解决该问题的方法。

AesUST方法

   为了解决美学不真实问题，我们提出了一种新的美学增强的通用风格迁移方法（称为AesUST），可以为任意风格生成美学上更真实、更令人愉悦的风格迁移结果。具体来说，我们的方法引入了一个美学鉴别器，从大量艺术家创作的真实绘画作品中学习普遍的人类愉悦的美学特征。然后，通过一个新的美学感知风格注意力（AesSA）模块来融合美学特征以增强风格迁移过程。AesSA模块使我们的框架能够根据风格图像的全局美学通道分布和内容图像的局部语义空间分布，高效灵活地集成风格模式。此外，我们还开发了一种新的两阶段迁移训练策略，同时引入了两个美学正则化项，可以更有效地训练我们的模型，进一步提高风格化效果。大量实验表明，我们的方法生成的结果在美学上比现有最先进的方法生成的结果更和谐、更逼真，大大缩小了与艺术家创作的真正绘画作品之间的差距。

研究结果

AesUST框架图

          生成结果比较示例

作者简介：

王志忠，2018级直博生，指导老师：赵磊、邢卫、鲁东明。主要研究方向：计算机视觉，深度学习，图像智能处理，重点研究图像生成、图像风格和纹理的表达和迁移等。

导师简介：

赵磊，博士，浙江大学计算机科学与技术学院副研究员，主要研究方向：深度学习、图像智能处理（图像修复、图像风格表达与迁移、图像跨域迁移、图像智能生成）、知识图谱、多模态学习等。

邢卫，博士，浙江大学计算机科学与技术学院副教授，主要研究方向：深度学习、图像智能处理、对抗生成网络模型、文物数字化等。

鲁东明，博士，浙江大学计算机科学与技术学院教授，主要研究方向：虚拟现实、计算机视觉、无线传感器网络技术、大数据人工智能等。