当前位置:首页>学术动态

【喜讯】网络与媒体实验室近期再次斩获两篇高水平论文

编辑:netmedia 发布时间:2021-03-26 访问次数:45
   近日,网络与媒体实验室喜讯连连,由赵磊老师作为第一作者的题为《SpatialGAN: Progressive Image Generation Based on Spatial Recursive Adversarial Expansion》的论文被 ACM MultiMedia 2020录用发表。博士陈海博同学作为第一作者的题为《DualAST: Dual Style-Learning Networks for Artistic Style Transfer》论文被IEEE Conference on Computer Vision and Pattern Recognition(CVPR) 2021录用,该论文也是自赵磊老师小组自去年连中两篇CVPR2020后,另一篇被CVPR新录用的论文。

   ACM MultiMedia 会议为中国计算机协会推荐A类会议(即CCF A类会议),为世界多媒体视觉领域顶会之一。CVPR(IEEE Conference on Computer Vision and Pattern Recognition)为中国计算机协会推荐A类会议(即CCF A类会议),为世界计算机视觉领域三大顶会之一,并在2020年谷歌所发布的学术影响力排名中,位列人工智能领域首位。

   图像智能生成目前存在生成图像质量差和分辨率不高等问题,为了解决这些问题,赵磊老师小组提出了空间对抗生成的图像高质量生成的框架,该框架利用了课程学习的理论,先从小空间的局部开始生成,然后逐步地扩大生成图像的空间,由于开始生成的时候其所涉及的空间维度较小,保证了生成的图像难度大大地降低,这种基于空间扩展的方法类似于空间领域的正则化,能够在空间维度上不断地引导图像生成过程,进而能够生成空间分辨率大、高质量的图像。
 
 
 
效果图
 
 
   图像的风格迁移就是指让计算机自动完成图像风格的转移:将一张具有艺术特色的图像的风格迁移到一张自然图像上,使原自然图像保留原始内容的同时具有独特的艺术风格,如油画、水彩、水墨等风格。根据艺术风格是从单张艺术图像中学习的还是从整个艺术图像数据集中学习的,可以将现有的风格迁移方法分为两类:第一类方法只利用单张艺术图像的信息去学习风格,它们所创造出的艺术图像的风格比较可控,但质量不太理想;第二类方法提出从整个艺术图像数据集中学习风格,它们所创造出的艺术图像的质量很高,但风格不可控。
   为了解决上述问题,在该论文中,陈海博同学与其他合作者提出了一个能同时从单张艺术图像中学习具体的画作风格以及从整个艺术图像数据集中学习整体的画家风格的神经网络模型DualAST。其中整体的画家风格用来确定生成的艺术图像的风格基调,具体的画作风格用来确定生成的艺术图像在风格上的细节信息,例如颜色和纹理等。通过整体和具体的结合,模型能够生成高质量且风格可控的迁移图像(如下图所示)。此外,还提出了 Style-Control Block(SCB)模块来更好地实现样例引导(reference-guided)的风格迁移。
 
模型图