【喜讯】网络与媒体实验室近期再次斩获两篇高水平论文
编辑：netmedia 发布时间：2021-03-26 访问次数：2122
近日，网络与媒体实验室喜讯连连，由赵磊老师作为第一作者的题为《SpatialGAN: Progressive Image Generation Based on Spatial Recursive Adversarial Expansion》的论文被 ACM MultiMedia 2020录用发表。博士陈海博同学作为第一作者的题为《DualAST: Dual Style-Learning Networks for Artistic Style Transfer》论文被IEEE Conference on Computer Vision and Pattern Recognition（CVPR） 2021录用，该论文也是自赵磊老师小组自去年连中两篇CVPR2020后，另一篇被CVPR新录用的论文。
ACM MultiMedia 会议为中国计算机协会推荐A类会议（即CCF A类会议），为世界多媒体视觉领域顶会之一。CVPR（IEEE Conference on Computer Vision and Pattern Recognition）为中国计算机协会推荐A类会议（即CCF A类会议），为世界计算机视觉领域三大顶会之一，并在2020年谷歌所发布的学术影响力排名中，位列人工智能领域首位。
图像智能生成目前存在生成图像质量差和分辨率不高等问题，为了解决这些问题，赵磊老师小组提出了空间对抗生成的图像高质量生成的框架，该框架利用了课程学习的理论，先从小空间的局部开始生成，然后逐步地扩大生成图像的空间，由于开始生成的时候其所涉及的空间维度较小，保证了生成的图像难度大大地降低，这种基于空间扩展的方法类似于空间领域的正则化，能够在空间维度上不断地引导图像生成过程，进而能够生成空间分辨率大、高质量的图像。
效果图
图像的风格迁移就是指让计算机自动完成图像风格的转移：将一张具有艺术特色的图像的风格迁移到一张自然图像上，使原自然图像保留原始内容的同时具有独特的艺术风格，如油画、水彩、水墨等风格。根据艺术风格是从单张艺术图像中学习的还是从整个艺术图像数据集中学习的，可以将现有的风格迁移方法分为两类：第一类方法只利用单张艺术图像的信息去学习风格，它们所创造出的艺术图像的风格比较可控，但质量不太理想；第二类方法提出从整个艺术图像数据集中学习风格，它们所创造出的艺术图像的质量很高，但风格不可控。
为了解决上述问题，在该论文中，陈海博同学与其他合作者提出了一个能同时从单张艺术图像中学习具体的画作风格以及从整个艺术图像数据集中学习整体的画家风格的神经网络模型DualAST。其中整体的画家风格用来确定生成的艺术图像的风格基调，具体的画作风格用来确定生成的艺术图像在风格上的细节信息，例如颜色和纹理等。通过整体和具体的结合，模型能够生成高质量且风格可控的迁移图像（如下图所示）。此外，还提出了 Style-Control Block(SCB)模块来更好地实现样例引导（reference-guided）的风格迁移。
模型图
效果图
作者、导师简介：
陈海博，2020级在读硕博连读生（2017级硕，2020级博），指导老师：赵磊、邢卫。主要研究方向：计算机视觉，深度学习，重点研究风格表达、风格迁移和图像生成等。
赵磊，博士，浙江大学计算机科学与技术学院副研究员，主要研究方向：深度学习、图像智能处理（图像修复、图像风格表达与迁移、图像跨域迁移、图像智能生成）、知识图谱、多模态学习等。
邢卫，博士，浙江大学计算机科学与技术学院副教授，主要研究方向：深度学习、图像智能处理、对抗生成网络模型、文物数字化等。
陈海博博士的论文研究受到国家重点研发计划项目（数字文化遗产协同加工与智能计算引擎、大遗址元素智能提取理解及生成关键方法研究）、浙江省科技计划项目（文化创意智能设计技术研究-图案素材生成与智能设计）、浙江省自然科学基金（基于弱监督学习的图像修复关键技术研究）等多个科研项目的资助。