姓   名

班  级

学  号

课题名称

基于嵌入式AI技术的课堂考勤系统

指导教师

一、课题的目的和意义

随着物联网、AI与嵌入式等技术的迅速发展，智能黑板、智能课桌等各种智能化课堂辅助硬件大量出现，大幅改变了传统的课堂教学方式，极大地提升了教学质量与课堂效率。

在社会各界共同追求利用高新技术推动教育改革的大背景下，本课题考虑到在传统课堂教学中，课堂考勤等一些固定的环节往往会占用师生大量宝贵的课堂时间；寻求一种能缩减不必要的时间浪费、提高课堂时间利用率的考勤方式具有较大的现实意义。

为此，本课题拟开发一套基于嵌入式AI技术的课堂考勤系统。通过使用集成人工神经网络硬件加速器的嵌入式AI芯片，利用基于嵌入式AI技术的人脸检测与识别技术，实现人脸识别考勤与数据管理，完成智能化的课堂考勤功能。

二、课题的任务和要求

1、查找与课题相关的中英文资料，完成本科毕业论文的开题报告，安排计划进度表等；

2、搜集与课题相关的英文文献，并翻译外文文献，要求英文资料翻译难度适中，中文字数不少于2000字，并且在毕业设计（论文）开始后两周内完成；

3、熟悉嵌入式、物联网等相关知识；

4、熟悉机器视觉、人工神经网络等相关知识；

5、了解人脸检测、活体判断、人脸识别的常用算法；

6、了解RISC-V架构的特点，了解Kendryte K210芯片的性能参数；

7、了解BLE通信与WIFI通信的特点，了解ESP32芯片的性能参数；

8、学习并熟悉使用Git进行软件版本控制与项目管理；

9、学习并熟悉嵌入式实时操作系统FreeRTOS，掌握任务调度、进程通信的方式；

10、学习并熟悉在Kendryte IDE下基于C/C++语言开发K210芯片固件；

11、学习并熟悉在Linux操作系统下使用Arduino IDE搭建开发环境，使用C/C++语言开发ESP32芯片固件；

12、学习并熟悉在Visual Studio环境下基于C#语言开发windows桌面程序；

13、学习并熟悉使用AltiumDesigner进行电路仿真并绘制PCB板，熟悉常用电路模块与基础元器件；

14、学习并熟悉使用SolidWorks进行机械结构设计与仿真；

15、学习并熟悉使用AutoCAD进行平面机械图纸绘制、生成激光切割图纸，熟悉激光切割机的基本操作；

16、学习并熟悉使用Cura产生3D打印切片文件，熟悉3D打印机的使用与维护；

17、独立完成本科毕业论文的撰写、论文正文部分字数应不少于10000字；

18、准备毕业论文的答辩；

19、论文完成期限：自2021年03月01日至2021年06月04日。

三、主要设计思路

课堂考勤系统将分为两个主要部分：人脸识别考勤设备、PC端上位机软件。

人脸识别考勤设备将作为系统的关键组成部分，是系统唯一的硬件实体，其分为处理器模块、人脸信息采集模块、电源模块、人机交互模块四个主要部分，各部分硬件设计思路如下：

（1）处理器模块将采用双处理器协同工作的方式。以Kendryte K210 SoC作为主处理器，其主要负责人脸识别算法的执行；以ESP32 MCU作为协处理器，其主要负责网络通信。

（2）人脸信息采集模块将分为摄像和补光两部分。摄像部分的镜头选型将根据实测情况具体决定，计划选用IR-RGB双光谱摄像头，以便实现活体检测功能。

电源模块，考虑到系统有便携的需求，故计划采用电池供电；选用能量密度较高、可充电的锂电池，配合具有充放电管理、升压功能的IP5306电源管理芯片与AMS1117稳压芯片。

（3）人机交互模块分为输入与输出部分；输入部分采用轻触开关进行简单输入，复杂的输入操作可通过PC端上位机软件发送数据实现；输出部分由LED提示灯、LCD显示屏实现，复杂的输出可通过向PC端上位机软件发送数据并由其显示。

处理器模块的软件设计思路如下：

（1）Kendryte K210 SoC的固件主要运行人脸识别考勤算法，其将采用基于yolo更改的yolo for k210实现人脸检测，采用近红外活体检测进行活体判断，采用基于FaceNet的MaixFace网络实现人脸识别。根据嘉楠官方的描述，K210的KPU算力可达1TOPS，可以实现较好的人脸识别考勤算法。

（2）ESP32 MCU的固件将摒弃入门级的裸机编程方式，选用效率更高、可移植性更强的基于嵌入式实时操作系统编程方式。本项目计划选用乐鑫官方根据ESP32硬件定制的FreeRTOS操作系统，并将ESP32的双核处理器分为程序核与协议核，分别负责串口通信与网络通信。

（3）教师端上位机是系统的主要数据读取部分，将由C#编写并存在于PC端，主要具有人脸录入与删除、出勤记录导出等功能。

四、课题成果与形式（文本、实物、图纸、实验报告、设计说明书等）

1、毕业论文、程序清单及说明文档

2、人脸识别考勤机实物

3、电路原理图、PCB图、3D打印的STL图纸、激光切割的DXF图纸

毕 业 设 计（论 文）进 度 安 排 表

时  间

计  划  完  成  内  容

第1周

查阅与课题相关资料，找出相关的英文文献并进行翻译；

第2周

查阅相关资料，思考并确定思路，完成开题报告；

第3周

查找并学习嵌入式技术、物联网相关资料；

第4周

查找并学习机器学习、卷积人工神经网络相关资料；

第5周

学习Kendryte K210 SoC，编写程序并在开发板上验证；

第6周

学习ESP32，编写程序、初步搭建电路并在开发板上验证；

第7周

学习AltiumDesigner软件的使用，绘制初版电路原理图与PCB；

第8周

调试初版PCB，学习SolidWorks软件的使用并绘制装配图；

第9周

绘制第二版PCB，3D打印、激光切割相关零部件；

第10周

完成硬件初步装配，编写上位机并联调，绘制最终版PCB；

第11周

完成硬件部分，修正出现的bug并开始写论文大纲，撰写论文；

第12周

灰度用户测试，修正出现的bug，完成论文初稿；

第13周

修正出现的bug，完善论文，并完成论文终稿，准备程序验收；

第14周

提交毕业论文和答辩PPT，进行答辩。

指

导

教

师

意

见

指导教师：

年  月  日