网络与媒体实验室斩获2篇CVPR国际顶级会议论文

编辑:cgsoft 发布时间:2020-03-30 访问次数:463

    日前,网络与媒体实验室“大数据人工智能研究方向”2篇论文被计算机视觉顶级会议CVPR2020接收,包括了“图像修复”与“风格迁移”相关的最新研究成果。这是继2019年来,实验室“大数据人工智能研究方向”第二次被CVPR国际会议接收论文。该论文到底有什么厉害之处呢,今天大家就一起一睹为快吧!

《UCTGAN: Diverse Image Inpainting based on Unsupervised Cross-Space Translation》

    图像修复(image inpainting)是指利用图像的已知信息用特定方法来修复部分损坏或丢失的部分。现有的图像修复方法可以产生真实且语义匹配的修复结果,但它们对每一张输入的待修复图像只能产生一个特定的输出结果。真实情况下,针对一张破损图像,应该有很多张不同的修复结果均可以很好地满足特定的约束。

    为了能够对一张破损图像产生多个且多样化的合理修复结果,作者提出了一个实例引导的图像到图像转换(image-to-image translation)网络,称为无监督跨空间转换生成对抗网络(UCTGAN)。在大量的公开数据集(如CelebA-HQ, Places2, Paris StreetView 和 ImageNet)上的实验结果表明该方法相较于已有的state-of-the-art方法,可以针对单张待修复图像生成更高质量的且多样化的修复结果(如图所示)。

 赵磊,博士,浙江大学计算机科学与技术学院讲师,主要研究方向:图形图像处理、虚拟现实‍。

《Diversified Arbitrary Style Transfer via Deep Feature Perturbation》

    风格迁移能够实现将一副图像的风格迁移到另一幅图像上,其无论是在学术界还是在工业界都是被广泛关注的有趣问题。然而现有的多数风格迁移方法针对一张内容图像和一张风格图像,只能生成一张特定的风格迁移结果,这不太符合该领域高度依赖用户主观感受来评价结果好坏的特点。为尽可能地满足不同用户的主观需求,多样化的风格迁移结果是必要的,这可以提供给用户更多的选项来选择满意的结果。虽然也有一些方法通过训练一个多样化损失来实现一定程度上的多样化,但这种实现多样化的方法在泛化性、多样化程度和易扩展性等方面还存在很多缺陷。


    为了克服这些缺陷,作者提出了一种基于深度特征扰动的多样化实现方法。该方法利用一个正交噪声矩阵来扰动风格迁移过程中的深度变换特征,同时保持其原有的风格信息不变。其最大的优势是全程不需要任何训练,并且可以很容易地嵌入到已有的很多基于白化和着色(whitening and coloring transform)的风格迁移方法中从而赋予它们产生多样化结果的能力。实验结果表明这种无需训练且通用的多样化方法可以在保持原有风格迁移质量的前提下显著地提升生成结果的多样性(如图所示)。

王志忠,2018级在读博士生,指导老师:鲁东明、赵磊。主要研究方向:计算机视觉,重点研究风格表达、风格迁移和图像生成等。

     2020年6月,赵磊讲师与王志忠博士将一同前往西雅图华盛顿州会议中心参加本次CVPR2020会议,届时希望他们能有新的收获并与我们分享,敬请期待吧!

 

版权所有:浙江大学网络与媒体实验室   电话 (+86)571-87951388  传真 (+86)571-89751105

您是第4863444位访问者 | 创高软件 管理登录 旧版入口