计算机视觉与虚拟展示技术方向
(1)开展了基于对比学习的艺术知识学习表达方法研究。提出了基于对比学习的艺术知识学习表达模型,首次将对比学习方法引入到了风格迁移任务中,提出了内容对比损失和风格对比损失。该模型能够拉近共享内容/风格的迁移图像间的距离,推远内容/风格各异的迁移图像间的距离,通过考虑迁移图像间的关系,学习到更好的内容表示和风格表示,提升风格迁移的效果。此外,还提出利用风格数据集中所蕴含的美学风格信息去优化迁移图像中的色彩和纹理分布,进一步缩小与真实画作间的差距。相关研究论文成果“Artistic Style Transfer with Internal-external Learning and Contrastive Learning”发表在CCF A类会议NeurIPS 2021。
(2)开展了基于双风格学习的风格迁移研究。提出了一个能同时从单张艺术图像中学习具体的画作风格以及从整个艺术图像数据集中学习整体的画家风格的神经网络模型DualAST。其中整体的画家风格用来确定生成的艺术图像的风格基调,具体的画作风格用来确定生成的艺术图像在风格上的细节信息。通过整体和具体的结合,提出的模型能够生成高质量且风格可控的迁移图像。相关研究论文成果“DualAST: Dual Style-Learning Networks for Artistic Style Transfer”发表在CCF A类会议CVPR2021。
(3)开展了艺术知识(风格、流派、笔触结构、色彩、纹理等)的解耦学习以及优化方法研究。提出了一个模拟艺术家思维的风格和内容的解耦框架DIST。具体来讲,本模型主要包含三个分支:解耦分支、逆变换分支以及风格化分支。其中,解耦分支负责将艺术图像分解为内容空间和风格空间;逆变换分支在输入噪声的潜变量空间和生成的艺术图像的风格空间之间做了可逆的跨空间映射约束,这样不同的输入噪声会对应着不同的风格化结果;风格化分支负责将艺术风格渲染到内容图像上。在这三个分支的共同约束下,提出的方法能够生成出具有显著多样性的艺术图像。相关研究论文成果“Diverse Image Style Transfer via Invertible Cross-Space Mapping”发表在CCF A类会议ICCV 2021。
(4)开展了交互式纹理迁移(Interactive Texture Transfer)研究。提出了一种快速通用的交互式纹理迁移框架,包括三个阶段:a.全局视图结构对齐阶段;b.局部视图纹理精修阶段;c.整体效果增强阶段。此外,还引入了一种新的无需学习的视图特定纹理重构(VSTR)操作,并采用了一种新的语义图引导策略。所提出的方法在各种应用场景上不仅获得了更高质量的结果,而且速度也快了2-5个数量级。相关研究论文成果“Texture Reformer:Towards Fast and Universal Interactive Texture Transfer”发表在国际顶级会议CCF A类会议AAAI 2022。
(5)开展了文本到图像生成多样性(Diversified Textto ImageSynthesis)研究。提出了一种提高文本到图像生成(T2I)多样性的方法。主要设计了一个新的模块,改善了生成对抗网络(GANs)的训练。该模块嵌入到多阶段生成器中,最大化生成器输入特征和输出特征的全局/局部化信息,使得T2I映射更加相关,缓解GAN的模式坍塌问题,逐步生成多样化和照片般真实的图像。实验表明,该方法可以生成与文本匹配且更多样化的图像,而不会出现质量下降。相关研究论文成果“Diversified Text-to-Image Generation via Deep Mutual Information Estimation.”发表在国际顶级期刊CCF B类CVIU期刊。