近日，网络与媒体实验室赵磊老师的一篇题为《基于自相似性与对比学习的图像跨域转换算法》的论文被中文期刊《计算机研究与发展》录用，该期刊为中国计算机协会推荐A类中文科技期刊（即CCF A类期刊）。

论文简介：

图像跨域转换，又称图像翻译，是一种旨在将源域的图像转换为目标域的图像的技术，具体来说是使生成图像在保持源域图像的结构（轮廓，姿态等）的同时具有目标域图像的风格（纹理，颜色等）。图像跨域转换技术在视觉领域有着广泛的应用，如照片编辑和视频特效制作。近年来，该技术在深度学习尤其是生成对抗网络的基础上得到了飞速发展，也取得了令人印象深刻的结果，但是迁移后的生成图像仍然存在颜色模式坍塌、内容结构无法保持等问题。

针对上述问题，本文提出了一种基于自相似性与对比学习的图像跨域转换算法。该算法利用预先训练的深度神经网络模型提取图像的内容特征和风格特征，将感知损失和基于自相似性的损失作为图像内容损失函数。同时使用一种宽松的最优传输损失和基于矩匹配计算的损失作为图像风格损失函数对提出的神经网络进行训练，并通过将生成图像和目标域图像标记为正样本对，将生成图像和源域标记为负样本进行对比学习。

  在四个数据集上对提出的算法进行了实验验证，结果表明本文提出的方法在生成的结果图像上较好地保持了源域图像的内容结构，同时减少颜色的模式坍塌，且使生成的图像风格与引导图像的风格更加一致。

模型图

效果图

作者简介：

  赵磊，浙江大学计算机科学与技术学院副研究员，主要研究方向：深度学习、图像智能处理（图像修复、图像风格表达与迁移、图像跨域迁移、图像智能生成）、知识图谱、多模态学习等。