【喜讯】网络与媒体实验室高水平论文被IJCAI2022录用
近日,由赵磊、邢卫和鲁东明老师指导的2017级直博生左智文同学的一篇论文被国际人工智能联合会议(International Joint Conference on Artificial Intelligence2022,简称IJCAI2022)录用,该会议为中国计算机协会推荐A类会议(即CCF A类会议),为国际人工智能领域中最主要的学术会议之一。
会议简介:
艺术风格转移是将内容图像与所学艺术风格相结合的任务。最近的研究表明,生成性对抗网络(GAN)具有产生丰富艺术风格的潜力。尽管取得了很好的效果,但它们通常无法控制生成图像的风格程度,这是不灵活的,限制了它们在实际应用中的适用性。
为了解决这个问题,在本文中,我们提出了一种新的方法,第一次允许在训练后实时调整现有基于GAN的艺术风格转换框架的风格程度。我们的方法将两个新的模块引入到现有的艺术风格转换框架中:风格缩放注入(SSI)模块和风格度解释(SDI)模块。SSI模块接受样式度因子(SDF)的值作为输入,并输出参数,以缩放现有模型中的功能激活,提供控制信号来改变样式化的样式度。SDI模块将多尺度内容样式二元分类器的输出概率解释为样式度,提供了一种参数化样式化样式度的机制。
此外,我们还表明,经过训练后,我们的方法可以使现有的基于GAN的框架产生过多的样式化。所提出的方法可以简化许多现有的基于GAN的艺术风格转换框架,只需要少量额外的训练开销和修改。对两种典型的GAN基风格转换模型进行了广泛的定性评估,证明了所提出的方法在获得风格度控制方面的有效性。
模型图
效果图
作者简介:
左智文,2017级直博生,指导老师:赵磊、鲁东明。主要研究方向:深度学习,计算机视觉,图像生成,重点研究基于生成对抗网络的图像生成问题和应用。
导师简介:
赵磊,博士,浙江大学计算机科学与技术学院副研究员,主要研究方向:深度学习、图像智能处理(图像修复、图像风格表达与迁移、图像跨域迁移、图像智能生成)、知识图谱、多模态学习等。
邢卫,博士,浙江大学计算机科学与技术学院副教授,主要研究方向:深度学习、图像智能处理、对抗生成网络模型、文物数字化等。
鲁东明,博士,浙江大学计算机科学与技术学院教授,主要研究方向:虚拟现实、计算机视觉、无线传感器网络技术、大数据人工智能等。