|
一、 毕业设计的任务
针对快速风格迁移的需求，选取合适的深度学习算法训练实现。该算法应能在普通用户的硬件环境里，完成快速风格迁移，同时尽量保证风格化内容美观不失真。使用开源的神经网络框架Tensorflow设计网络结构，构建相应的训练集进行模型训练。优化训练好的模型，压缩模型大小、加速模型推理。同时，设计与开发图像风格迁移软件，部署上述模型，实现基本的图像处理功能，以及对图像与视频进行风格迁移。
二、 已经完成的任务
本课题构建了由三个下采样层、五个残差块和三个上采样层组成的风格迁移网络，该网络可以实现对任意分辨率图片进行快速风格迁移。该网络使用VGG19网络作为损失网络，分别计算生成图像与风格图像的风格损失、与内容图像的内容损失，并与总变差线性组合计算总损失，以优化网络权重和偏差。
在数据集方面，选取了14张图像用作风格图像，另选取8万来自于Microsoft COCO数据集的图像用作内容图像，训练时将图像变为256*256大小，加速训练。
使用tensorflow框架编写实现了该网络，并在RTX 2080Ti GPU上进行了模型训练。设定Batch Size为4，学习率为0.001，Epoch为2，并使用Adam算法优化网络。训练单个风格模型耗时约3个小时。在测试平台测试时，单张图像风格迁移用时约2秒左右，生成风格化图像质量高。
在开发平台上，安装了C++端的OpenCV库与TensorRT库，并在Visual Studio中成功运行测试示例。
三、 设计过程中遇到的问题
在运行TensorRT的uff转换工具，将tensorflow中固化的pb模型转换为uff模型时，遇到了CUDA版本不适配的错误，但uff支持的CUDA版本与本机中的版本匹配，并不存在该错误。排查原因后发现是 Tensorflow版本过低的原因，升级后问题解决。
后续在TensorRT中导入uff模型时，报出存在不支持的操作。查阅资料，发现TensorRT是支持该操作的，但在uff 解析器中却不支持，暂未解决该问题
四、 下一步的工作计划
尝试通过其他途径解决上述问题，比如尝试自定义操作，切换其他版本的TensorRT。若问题无法解决，选择python平台直接部署模型，改用pyqt5开发桌面程序。
报告人：
指导教师签名：
|
