申报人

职称

教授

申报时间

题目名称

注意力驱动深度学习的多标签图像分类系统设计与实现

难度

□难    √较难

□一般    □容易

题目来源

√科研项目  □工程实践  □教学实践  □社会调查  □实验实习

□其它

题目类型

√应用基础研究  □理论研究  □应用开发  □其它

所需学生人数

1

分工情况

独立完成。

题目简述

多标签图像分类是物联网和多媒体技术领域的热点研究和应用问题。多标签图像分类能够为一个实例分配多个标签，其作为计算机视觉的重要组成部分，广泛应用于场景解析，自动驾驶，农业图像检测等多方面，它能在一幅图像中发现多个语义标签，促进随时随地获取的图像内容的更有效理解与发现，有助于物联网大数据的增值服务。现实中的场景图像往往记录着多个对象，这多个对象在图像中显现的形式各不一样，对象之间的呈现在一幅图像中的可能性也有一定的本质联系，传统的多标签语义检测识别方法，未能充分学习挖掘这种多标签之间的本质关联关系。随着深度学习的不断发展，其在多标签图像分类也体现了巨大的优势，更有利于图像特征的学习和标签之间关系的挖掘。目前解决多标签图像分类的方法主要从建立标签的关联性入手，标签关联性能够应对多标签图像中训练数据有限，标签分布长，标签相关性复杂等难题。本课题拟研究设计开发一个多标签图像分类系统，该系统利用注意力机制驱动超图构建，结合超图卷积神经网络实现多标签图像分类。首先利用深度卷积神经网络提取图片的特征；然后利用注意力模块得到每个类别显著特征，并将其作为顶点构建超图；最后利用超图卷积学习类别间的相关性来预测多标签分类结果。整个模型都在端到端的场景中进行联合训练，以达到最高的性能。最后，开发一个多标签图像分类系统。

本题目

预期目标

本课题拟开发一个多标签图像分类系统，预期达到以下目标： 1） 通过深度神经网络进行图片特征提取操作； 2） 利用注意力机制得到类别显著特征； 3） 利用超图卷积学习类别间的相关性； 4） 设计实现一个基于超图卷积的多标签图像分类系统。

对学生知识与能力要求

知识与能力要求： 1） 熟悉图像处理技术，了解图像处理的工具的应用； 2） 掌握数据结构和算法设计与分析的理论，并能运用于课题相关模块设计； 3） 熟悉开发环境： Python编程环境，熟悉pytorch，opencv。

所需条件

所需条件： 1）收集相应图像数据集； 2）硬件环境：微机或笔记本一台（带GPU）； 3）软件环境：Python。

主要参考资料

主要参考资料： [1] Ye, Jin et al. “Attention-Driven Dynamic Graph Convolutional Network for Multi-label Image Recognition.” ECCV (2020). [2] He, K., Zhang, X., Ren, S., & Sun, J. (2016). “Deep residual learning for image recognition.” In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 770-778). [3] Wu, Xiangping et al. “AdaHGNN: Adaptive Hypergraph Neural Networks for Multi-Label Image Classification.”Proceedings of the 28th ACM International Conference on Multimedia (2020): n. pag. [4] Ganda, D., & Buch, R. (2018). A Survey on Multi-Label Classification. Recent Trends in Programming Languages, 5(1), 19-23. [5] Zhang, Junjie et al. “Multi-label Image Classification With Regional Latent Semantic Dependencies.” IEEE Transactions on Multimedia 20 (2018): 2801-2813. [6] Wang, J., Yang, Y., Mao, J., Huang, Z., Huang, C., & Xu, W. (2016). “Cnn-rnn: A unified framework for multi-label image classification.” In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 2285-2294). [7] Wang, Y., He, D., Li, F., Long, X., Zhou, Z., Ma, J., & Wen, S. (2019). “Multi-Label Classification with Label Graph Superimposing.” arXiv preprint arXiv:1911.09243 [8] Chen Z M , Wei X S , Wang P , et al. Multi-Label Image Recognition With Graph Convolutional Networks[C]// 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2020. [9] Gao, Yue et al. “Hypergraph Learning: Methods and Practices.” IEEE transactions on pattern analysis and machine intelligence PP (2020): n. pag. [10] Feng, Yifan et al. “Hypergraph Neural Networks.” AAAI (2019): n. pag.

以上项目填报人签字

詹永照

填报日期

2021年12月11日

教研室审核意见：

通过

教研室主任（签字）：

2021年12月17日

(院)系毕业论文(设计)工作领导小组审核意见：

计算机科学与通信工程学院 (院)系 (签章)

(院)系分管领导(签字)：