当前位置:首页>学术动态

【喜讯】网络与媒体实验室高水平论文被AAAI2022录用

编辑:netmedia 发布时间:2021-12-13 访问次数:84

近日,由鲁东明老师和赵磊老师指导的2018级直博生王志忠同学一篇论文被Association for the Advance of Artificial Intelligence(AAAI2022)录用。

image.png

会议简介:

AAAI,全称为国际先进人工智能协会(Association for the Advance of Artificial Intelligence),是人工智能领域的主要学术组织之一。该协会主办的人工智能大会(AAAI Conference on Artificial Intelligence)是人工智能的顶级学术会议。该会议在中国计算机学会(CCF)国际学术会议排名中,属于人工智能领域的A类会议。


研究背景:

作为纹理合成的一种变体,纹理迁移(texture transfer)是一个长期被研究者关注的问题,其主要目标是将样式化纹理从给定样本迁移到目标图像上。经过近几年的快速发展,大量传统的或基于神经网络的方法被提出,并获得了视觉上不错的效果。然而,由于缺乏用户引导,一般的纹理迁移方法往往会产生不符合人类期望的结果。为了解决这一问题,一些研究者试图使用用户指定的语义图来引导迁移过程,这被称为交互式纹理迁移(interactive texture transfer),即用户可以通过语义图来控制目标图像中要合成的对象的形状、比例和空间分布。虽然目前已经有一些交互式纹理迁移方法被提出,但它们要么只针对特定的场景设计特定的模型,要么需要花费较长时间才能生成一张结果图像,因此这些方法无法满足实际的应用需求。而实现快速的、通用的、以及高质量的交互式纹理迁移方法,无论是对学术界还是对工业界都是意义重大的。


研究内容:

参照人类艺术家或设计师在图案设计和纹理创造方面的经验和习惯,我们提出了一种基于神经网络的快速通用的交互式纹理迁移框架,称为Texture Reformer,用于用户引导下的交互式纹理迁移。主要挑战在于三个方面:1)任务的多样性,2)引导图的简单性,以及3)执行效率。为了应对这些挑战,我们的核心思想是使用一种新的前馈多视图和多阶段的合成过程,包括I)全局视图结构对齐阶段,II)局部视图纹理精修阶段,以及III)整体效果增强阶段。我们的Texture Reformer模型以粗到细的方式合成具有连贯结构和精细纹理的高质量结果。此外,我们还引入了一种新的无需学习的视图特定纹理重构(View-Specific Texture Reformation,VSTR)操作,并采用了一种新的语义图引导策略,以实现更精确的语义引导和结构保持的纹理迁移。我们在多种应用场景上验证了该框架的有效性和优越性,包括涂鸦到艺术画作的生成、图案编辑、字效迁移、以及服装设计等。与最先进的交互式纹理迁移算法相比,我们的方法不仅获得了更高质量的结果,而且在速度上也快了2-5个数量级。

 

研究结果:

image.png

Texture Reformer框架图

image.png

Texture Reformer在多个应用场景上的结果示例

作者介:

王志忠,2018级直博生,指导老师:赵磊、邢卫、鲁东明。主要研究方向:计算机视觉,深度学习,图像智能处理,重点研究图像生成、图像风格和纹理的表达和迁移等。

image.png

导师简介

赵磊,博士,浙江大学计算机科学与技术学院副研究员,主要研究方向:深度学习、智能图像处理、视觉内容生成、图像风格迁移、智能图像修复、基于图像的三维建模、虚拟现实、多模态语义检索、智能视频处理。

赵磊.jpg

邢卫,博士,浙江大学计算机科学与技术学院副教授,主要研究方向:深度学习、图像智能处理、对抗生成网络模型、文物数字化等。

image.png

鲁东明,博士,浙江大学计算机科学与技术学院教授,主要研究方向:虚拟现实、计算机视觉、无线传感器网络技术、大数据人工智能等。

鲁东明2.jpg


版权所有:浙江大学网络与媒体实验室   电话 (+86)571-87951388  传真 (+86)571-89751105

您是第4863444位访问者 | 创高软件 管理登录 旧版入口