近日，由鲁东明老师和赵磊老师指导的2018级直博生王志忠同学一篇论文被Association for the Advance of Artificial Intelligence（AAAI2022）录用。

会议简介：

AAAI，全称为国际先进人工智能协会（Association for the Advance of Artificial Intelligence），是人工智能领域的主要学术组织之一。该协会主办的人工智能大会（AAAI Conference on Artificial Intelligence）是人工智能的顶级学术会议。该会议在中国计算机学会（CCF）国际学术会议排名中，属于人工智能领域的A类会议。

研究背景：

作为纹理合成的一种变体，纹理迁移（texture transfer）是一个长期被研究者关注的问题，其主要目标是将样式化纹理从给定样本迁移到目标图像上。经过近几年的快速发展，大量传统的或基于神经网络的方法被提出，并获得了视觉上不错的效果。然而，由于缺乏用户引导，一般的纹理迁移方法往往会产生不符合人类期望的结果。为了解决这一问题，一些研究者试图使用用户指定的语义图来引导迁移过程，这被称为交互式纹理迁移（interactive texture transfer），即用户可以通过语义图来控制目标图像中要合成的对象的形状、比例和空间分布。虽然目前已经有一些交互式纹理迁移方法被提出，但它们要么只针对特定的场景设计特定的模型，要么需要花费较长时间才能生成一张结果图像，因此这些方法无法满足实际的应用需求。而实现快速的、通用的、以及高质量的交互式纹理迁移方法，无论是对学术界还是对工业界都是意义重大的。

研究内容：

参照人类艺术家或设计师在图案设计和纹理创造方面的经验和习惯，我们提出了一种基于神经网络的快速通用的交互式纹理迁移框架，称为Texture Reformer，用于用户引导下的交互式纹理迁移。主要挑战在于三个方面：1）任务的多样性，2）引导图的简单性，以及3）执行效率。为了应对这些挑战，我们的核心思想是使用一种新的前馈多视图和多阶段的合成过程，包括I）全局视图结构对齐阶段，II）局部视图纹理精修阶段，以及III）整体效果增强阶段。我们的Texture Reformer模型以粗到细的方式合成具有连贯结构和精细纹理的高质量结果。此外，我们还引入了一种新的无需学习的视图特定纹理重构（View-Specific Texture Reformation，VSTR）操作，并采用了一种新的语义图引导策略，以实现更精确的语义引导和结构保持的纹理迁移。我们在多种应用场景上验证了该框架的有效性和优越性，包括涂鸦到艺术画作的生成、图案编辑、字效迁移、以及服装设计等。与最先进的交互式纹理迁移算法相比，我们的方法不仅获得了更高质量的结果，而且在速度上也快了2-5个数量级。

研究结果：

Texture Reformer框架图

Texture Reformer在多个应用场景上的结果示例

作者简介：

王志忠，2018级直博生，指导老师：赵磊、邢卫、鲁东明。主要研究方向：计算机视觉，深度学习，图像智能处理，重点研究图像生成、图像风格和纹理的表达和迁移等。

导师简介

赵磊，博士，浙江大学计算机科学与技术学院副研究员，主要研究方向：深度学习、智能图像处理、视觉内容生成、图像风格迁移、智能图像修复、基于图像的三维建模、虚拟现实、多模态语义检索、智能视频处理。

邢卫，博士，浙江大学计算机科学与技术学院副教授，主要研究方向：深度学习、图像智能处理、对抗生成网络模型、文物数字化等。

鲁东明，博士，浙江大学计算机科学与技术学院教授，主要研究方向：虚拟现实、计算机视觉、无线传感器网络技术、大数据人工智能等。