目录
一、选题意义与背景介绍 3
1.1背景介绍 3
1.2选题意义 3
二、相关方法介绍 4
2.1纹理建模 4
2.2图像重建 4
2.3图像风格迁移 4
2.3.1基于在线图像优化的慢速图像风格化迁移算法 4
2.3.2基于离线模型优化的快速图像风格化迁移算法 5
2.4图像风格迁移效果评估 6
三、具体方法介绍 7
3.1基于卷积神经网络的图片风格迁移 7
3.1.1内容图像表示 8
3.1.2风格图像表示 9
3.1.3风格转移 11
3.2基于 AdaIN 层的实时任意风格迁移 11
3.2.1背景知识介绍 12
3.2.2AdaIN 介绍 13
3.2.3网络结构 13
3.2.4 训练 14
3.2.5 灵活性 15
四、实验结果 16
4.1基于卷积神经网络的图片风格迁移 16
4.1.1相同图片不同比值 16
4.1.2相同比值不同图片 17
4.2基于 AdaIN 层的实时任意风格迁移 18
4.2.1相同图片不同比值 18
4.2.2相同比值不同图片 19
五、总结分析 20
5.1 速度 20
5.2多样性 20
5.3转换效果 21
5.3.1EC 指标 21
5.3.2评估结果 23
六、参考文献 25
一、选题意义与背景介绍
1.1背景介绍
图像风格迁移是一种用不同风格渲染图像语义内容的图像处理方法。图像风格迁移 算法的输入有二,分别是内容图与风格图;输出为一个,为风格迁移后的结果图。
在非真实感图形学领域,图像风格迁移技术可以大体分为基于笔触渲染的方法、基于图像类比的方法、基于图像滤波的方法。但是这些图形学技术却都没有大规模落地, 它们无法大规模落地的原因如下:基于笔触渲染的方法,在算法设计之前就会确定某一风格,即每一个基于笔触渲染的算法一般只对应于一个风格,不能简单地扩展到其他风格;基于图像类比的方法,需要很多成对的原图和风格结果图作为训练集,但是对所有风格图都找到大量成对的数据集不现实;基于图像滤波的方法,这个方法的速度快且效果稳定,是可以落地实现的,但是这个方法能模拟的风格种类有限。
在视觉领域,图像风格迁移一般被认为是纹理合成的一个扩展问题。(纹理合成是给定一个纹理图,去合成更多的类似的纹理结构,最终组成一个大的纹理图)风格迁移中的风格图实际上就可以看作是一种纹理,所以当时的图像风格迁移叫纹理迁移。但是由于纹理迁移是基于低层次的图像特征实现的,没有考虑语义信息,因此结果不尽人意。
在非真实感图形学领域和视觉领域提及的方法都距大规模落地有一段距离,但是还 好很多前人依旧继续扎实的基础研究,最终总结得出纹理建模的方法与图像重建的方法。 图像风格迁移也就是源于纹理建模与图像重建,在神经网络深度学习的基础上发展起来, 纹理建模与图像重建的方法将会在相关方法中介绍。
1.2选题意义
基于深度学习的图像风格迁移的发展,使得图像风格迁移的效果得到很大的提升, 具有广阔的应用前景。目前,基于深度学习的图像风格迁移可以用于以下几个方向:
1)图像处理:图像风格迁移可以用于图像美化,传统的图像处理技术只能对图像进行模式较固定的处理,而基于深度学习的图像风格迁移可以给图像风格设计带来更多的可能性。比如:可以用于图像修复、用于给漫画草图上色等。最常见的应用是 Prisma, 这是免费提供基于深度学习的图像风格迁移服务的 App。
2)风格设计的辅助工具:图像风格迁移也可以在艺术绘画创作、建筑艺术设计、服 装艺术设计等场景中充当有效的辅助工具。
3)视频处理:可以将图像风格迁移技术用于影视特效技术的创作,用于对电影进行 风格化等。