学    院

指导老师

职  称

专业班级

学生姓名

学  号

题    目

基于STM32与openmv目标跟踪系统的设计

一、研究目的和意义

研究目的：

视频监控系统经历了从模拟化向数字化、网络化、智能化的发展过程，目标检测和跟踪技术是计算机视觉的重要组成部分，也是实现监控系统智能化的基础，因其广泛的应用前景而成为近年来的研究热点。 本文通过OpenMV作为是识别模块去识别被测物体（以红色小球为例），当其识别到红色小球后，判断小球中心点所在的区域信息，并将其区域标志位通过串口发送给STM32，当STM32接收到位置信息后对x轴、y轴的两个舵机参数进行操作，最后通过定时器输出合适的PWM波，控制舵机旋转相应的角度，使OpenMV摄像头对准被测物体，以实现物体追踪功能。
本研究旨在探讨基于STM32微控制器和Openmv机器视觉库的目标跟踪系统的实现方法和优化策略。研究目标包括:
（1）研究并优化基于STM32的实时目标跟踪算法，提高目标检测和跟踪的准确性和稳定性;
（2）利用OpenMV的机器视觉库，开发出高效的目标检测和跟踪算法，以适应不同场景和环境下的目标跟踪需求;
（3）研究并优化目标跟踪系统的性能，包括实时性、准确性、鲁棒性等方面，以提高系统的整体性能。
    研究意义：

目标跟踪技术在许多领域都具有广泛的应用价值，例如智能监控、人机交互、自动驾驶、军事侦察等。随着科技的不断发展，目标跟踪技术的研究和应用也越来越受到关注。本研究的意义在于:
(1)提供一种基于STM32和OpenMV的目标跟踪系统实现方案，为相关领域的研究和应用提供参考;
(2)研究并优化目标跟踪算法，提高目标检测和跟踪的准确性和稳定性，以满足不同场景和环境下的目标跟踪需求;
(3)通过研究和实践，培养学生对嵌入式系统和机器视觉领域的兴趣和能力，提高学生在相关领域的综合素质。

二、国内外研究现状

国内研究现状：

国内关于目标追踪的应用虽然起步比较晚，但是这些年相继有人提出智能跟踪和自适应跟踪的思想，国内目标跟踪的应用正一步步发展起来，并且逐渐缩小了和国外的差距。越来越多的高校和研究所越来越重视模式识别和目标跟踪等方面，如清华大学，西安交通大学，哈尔滨工业大学等，取得了显著的研究成果。西安交通大学在车辆跟踪等方面取得了重大的成果并且在其他方面也继续展开。清华大学电子工程系研发出一套智能跟踪系统，专门处理在复杂场景下人体识别问题遇到的种种困难。

国外研究现状：

关于目标追踪的实际应用国外起步得很早。早在20世纪50年代初期，GAC公司就已经研发出了ATRAN(Automatic Terrain Recognition and Navigation(System)。美国军方等也对目标跟踪等研究非常重视。1996年到1999年期间，美国国防高级研究项目署(DARPA)建立了以CMU为首、MIT等众多高校参与的项目VSAM。VSAM的目的是研究一种自动视频理解算法使得摄像机在一定的复杂度内能够自动地监测物体。虽然该算法最开始设计用来满足军事目标但是后来也能够运用于一般场景。1999年，美国马里兰大学研制出一种实时监控系统,该系统能够在户外环境中检测并且监控多人行为。同时系统运用形状的组合分析能够实现定位人体以及人体的各大部分(头、手、脚、身体等)，并且能够判断人是否携带物体。近年来目标跟踪方面进步显著，许多优秀的跟踪算法相继被人提出，诸如如KCF算法，MeanShift算法，TLD算法，SVT算法，IVT算法，MIL算法等。Fukunage于1975年最早提出Mean-Shift这个概念。然而一开始并没有引起大家的专注，直到1995年YizhongCheng发表文章重新定位了 MeanShift方法，这才引起了大家的广泛关注。1998年，Michael等人在目标跟踪中引入了粒子滤波的思想。由于MeanShift算法的可移植性很高，所以近年来MeanShift算法经常结合在其他算法一起使用。Zhang等人提出的一种高效的利用局部上下文信息的STC算法，具有良好的鲁棒性。STC跟踪算法基于贝叶斯框架，巧妙地运用快速傅里叶变换进行变换。Zdenek Kalal指出适用于长期目标跟踪的算法一般存在一些问题，第一是当目标重新出现的时候，算法要能够检测出该目标，并且目标重新出现的时候它的外观可能已经发生改变。第二，长期目标跟踪算法要处理遮蔽，形变，光线变化等问题。基于这些问题Zdenek Kalal提出了一种针对长期目标跟踪的算法TLD算法。Boris等人指出，基于检测的跟踪算法实时速度很快，很适合应用于实时性要求较高的场景中，在实时性应用上拥有很好的前景。然而对于基于检测的跟踪算法，跟踪器稍微的不准确都会导致样本的错误分类，从而可能会进一步产生漂移等问题。因此Boris等人运用多实例学习即MIL方法代替传统的监督学习方法来避免这些问题。从而提出了了一种鲁棒性很好的MIL跟踪算法。 Henriques等人提出论文网，大部分跟踪器的核心是一个用来区分目标和周围背景判别式的分类器，为了处理图像的自然改变，分类器通常用拓展的样本集来训练。基于这种简单的观测，Henriques等人提出了一种用来分析大量数据集的分析模型。由于数据矩阵是循环的，基于循环矩阵的特性把问题的求解变换到了离散傅里叶变换域，从而避免了矩阵求逆的过程，降低了好几个数量级的算法复杂度。Henriques等人提出了一种不同于以往的具有很好的鲁棒性的目标跟踪算法，KCF算法。Danel等人指出，大多数最先进的目标跟踪算法主要依赖于亮度信息以及图像表示中运用简单的颜色表示。在视觉追踪方面，当复杂的色彩特征结合亮度特征时不能够得到很好的表现结果，而目标识别与跟踪正好相反，两者结合能够得到良好的表现结果。由于追踪问题的复杂性，颜色特征必须能够被高效的计算，并且在维持高判别性的同时能够拥有亮度不变性。

三、研究内容和方法

（一）研究内容

本课题研究基于STM32与openmv目标跟踪系统，研究内容包括：

需求分析：识别出被测物体并通过STM32控制舵机使openmv对准被测物品。

系统总体方案设计：本次设计主要对基于STM32与openmv的目标跟踪系统进行设计，对目标跟踪系统的发展与应用、学术研究等现状进行分析，从而构思系统的总体设计方案。

硬件设计与软件设计：通过STM32固件编程，openmv视觉算法对STM32，openmv摄像头进行设计，利用GPIO接口进行连接。

软硬件联合调试和仿真：利用核心代码等描述实现过程，通过搭建项目开发环境实现系统模块，展示主要功能的应用效果。从多个方面验证系统数据、功能与性能的正确、完备与稳定性。

（二）研究方法

（1）通过图书馆、互联网、电子资源数据库等途径查阅大量文献，理解等相关知识，学习有关理论知识，为设计系统提供思路和参照。

（2）硬件设计
系统的硬件设计主要包括STM32主控制器、OpenMV摄像头模块、电源模块和通信模块等。STM32主控制器通过UART接口与 OpenMV摄像头模块进行通信，接收目标图像信息并进行处理。同时，STM32主控制器通过串口将目标信息传输给上位机或其他设备。
     （3）软件设计系统的软件设计主要包括图像处理和目标跟踪两部分。图像处理部分主要通过OpenMV摄像头模块获取图像信息，并进行预处理、特征提取等操作;目标跟踪部分则通过对图像的处理和分析，实现目标检测和跟踪功能。

（4）通过已学知识，进行系统的分析，构建系统的框架。

（5）数据分析与处理：通过对相关数据的分析，做出一套系统，对该系统进行不断地调解，来达到本次论文要求的目的。

四、进度安排

（1）2023年10月25日下达任务书。

（2）2023年10月26日-2023年11月24 日撰写开题报告，2023年11月26日前提交开题报告。

（3）2023年12月5日-2024年1月5日，阅读毕业设计相关资料，研究论文总体方案。

（4）2024年1月6日-2024年1月25日，完成毕业设计的基本框架，完成毕业设计的总体方案，完成论文提纲。

（5）2024年1月26日-2024年3月16 日，完成硬件电路原理图设计，初步完成软件框图和各个模块设计，进行毕业论文初稿的撰写，充实提纲内容，完成初稿。并于3月17 日前完成中期检查。

（6）2024年3月18日-2024年3月31日对人脸识别系统进行仿真，并对初稿进行进一步的修改与完善。

（7）2024年4月1日-2024年4月28日，完成论文的查重检测，评审，准备演讲稿；完成论文格式审查以及装订审批，准备毕业论文答辩的资料。

（8）2024年4月29日-2024年5月16日，完成毕业论文答辩。

五、参考文献

[1]李延浩.机器视觉在多领域内的应用[J].电子技术与软件工程,2018(1):93-94.
[2]李成勇,谭寒钟,王莎等.基于OpenMV的智能“寻的”小车控制系统[J].液晶与显示,2020,35(08):870-876.

[3] 视野有限的传感器网络中分布式多目标跟踪[J]. 段苛苛;邰滢滢.信号处理,2020(08)

[4]李嘉琛. 基于目标检测与跟踪的江滩岸线智能监测系统[D].电子科技大学,2023.

[5]何明剑. 特定场景中全局目标跟踪系统设计与实现[D].电子科技大学,2023.

[6] Guo M ,Xu T ,Liu J , et al.Attention mechanisms in computer vision: A survey[J].Computational Visual Media,2022,8(03):331-368.

[7]文子强. 无人系统领域的目标跟踪算法研究[D].杭州电子科技大学,2023.

[8]张颖,蒙泽海,饶秋磊等.目标跟踪任务系统设计与应用[J].航空工程进展,2023,14(01):98-103.

[9]翁立壮. 无人机目标跟踪系统研究与实现[D].广东工业大学,2023.

[10]林勇,秦文静,戚国庆.基于机载视觉引导的无人机自主循迹研究[J].电子设计工程,2018,26(08):21-24.

[11]胡悦,李博正,饶昱涛等.多目标跟踪智能辅助分析及自动化标注系统[J].工业控制计算机,2023,36(09):18-20.

[12]荣艳阳.基于移动平台的运动目标检测与跟踪系统研究[D].齐鲁工业大学,2023.

[13]朱世伟.深度学习运动目标自动跟踪摄像头系统研究[D].沈阳理工大学,2023.

[14]陈斌,施伟,原鑫鑫等.基于STM32的目标跟踪无人机整体及飞控系统控制算法设计与研究[J].数字技术与应用,2019,37(12):175-178+180.

[15]竺春祥,鹿存跃.一种基于STM32的目标实时跟踪系统研究[J].半导体光电,2017,38(06):908-910.

[16] STM32F103x微控制器与μC/OS-Ⅱ操作系统[M].贾丹平,桂珺.电子工业出版社.2017.

[17]图像处理、分析与机器视觉[M].杨高科.清华大学出版社.2018.

[18]公安部行业标准《视频监控系统多摄像机协同技术基本要求》课题组. 多摄像机协同关注目标检测跟踪技术[M].南京东南大学出版社:201706.223.

指导教师意见：

签名：                          年    月   日

教研室意见：

签名：                         年   月    日

学院意见：

签名：                          年    月   日