【喜讯】网络与媒体实验室高水平论文被ICCV2021录用
近期,由赵磊老师和邢卫老师指导的2020级硕博连读生(2017级硕,2020级博)陈海博同学又一篇论文被International Conference on Computer Vision(ICCV)2021录用。ICCV为中国计算机协会推荐A类会议(CCF A),与CVPR和ECCV并称计算机视觉方向的三大顶级会议。
图像的风格迁移就是指让计算机自动完成图像风格的转移:将一张或多张艺术图像的风格迁移到自然图像(也即是日常照片)上,使原自然图像保留原始内容的同时具有独特的艺术风格,如油画、水彩、水墨等风格。给定内容图像和风格图像,当前的风格迁移方法往往只能生成一种迁移结果,缺乏多样性。
为了解决该问题,我们提出了一个基于可逆跨空间映射(invertible cross-space mapping)的风格迁移框架DIST。具体来讲,我们的模型主要包含三个分支:解耦分支(disentanglement branch)、逆变换分支(inverse branch)以及风格化分支(stylization branch)。其中,解耦分支负责将艺术图像分解为内容空间(content space)和风格空间(style space);逆变换分支在输入噪声的潜变量空间(latent space)和生成的艺术图像的风格空间之间做了可逆的跨空间映射约束,这样不同的输入噪声会对应着不同的风格化结果;风格化分支负责将艺术风格渲染到内容图像上。在这三个分支的共同约束下,我们的方法能够生成出具有显著多样性的艺术图像,如下图所示:
模型框架图如下所示:
作者、导师简介:
陈海博,2020级在读硕博连读生(2017级硕,2020级博),指导老师:赵磊、邢卫。主要研究方向:计算机视觉,深度学习,重点研究风格表达、风格迁移和图像生成等。
赵磊,浙江大学计算机科学与技术学院副研究员,主要研究方向:深度学习、图像智能处理(图像修复、图像风格表达与迁移、图像跨域迁移、图像智能生成)、知识图谱、多模态学习等。
邢卫,博士,浙江大学计算机科学与技术学院副教授,主要研究方向:深度学习、图像智能处理、对抗生成网络模型、文物数字化等。