摘要
随着娱乐产业发展的日新月异，针对游戏互动问题，设计了一种基于神经网络的
2D 摄像头手势互动游戏机。游戏机采用模块化设计方法，使用 Kendryte K210 作为主控制器，用户在功能选择界面时能通过按键触发不同模式。除了接入 PS2 手柄畅玩传统 NES 游戏外， 游戏机还能加载已训练好的 MobileNet 卷积神经网络， 使用OV2460 摄像头获取图片数据并传给网络预测手势，进行猜拳互动。也可通过蓝牙解码模块接受外部信号，再经功放驱动喇叭播放音乐。实验结果表明：游戏机能过出色的完成三种功能模式，即 NES 游戏运行功能，猜拳互动判断输赢功能和蓝牙音箱播放功能。
关键词：Kendryte K210；神经网络；MobileNet；手势识别
Abstract
With the rapid development of the entertainment industry, a 2D camera gesture interactive game machine based on neural networks is designed to address the problem of game interaction. The game machine adopts a modular design method, using Kendryte K210 as the main controller, and the user can trigger different modes by pressing keys when selecting the function interface. In addition to accessing the PS2 controller to play traditional NES games, the game console can also load a trained MobileNet convolutional neural network, use the OV2460 camera to obtain picture data and pass it to the network to predict gestures, and perform guessing interactions. It can also receive external signals through the Bluetooth decoding module, and then drive the speakers to play music through the amplifier. The experimental results show that the game console can perform three functional modes excellently, namely, the NES game running function, the guessing interactive judgment function, and the Bluetooth speaker playback function.
Keywords:Kendryte K210;Convolutional Neural Network;MobileNet;Gesture Recognition
摘要 I
Abstract II
1 绪论 1
1.1 研究背景及其意义 1
1.2 国内外研究情况 2
2 系统方案 4
2.1 基本思路 4
2.2 总体方案设计 5
2.3 本章小结 6
3 硬件设计 6
3.1 控制器选型 6
3.2 摄像头模块 8
3.3 LCD 显示模块 9
3.4 充电芯片选型 10
3.5 蓝牙解码模块 11
3.6 手柄选型 12
3.7 D/A 芯片选型 12
3.8 功放选型 13
3.9 外壳设计 14
3.10 本章小结 16
4 软件设计 16
4.1 开发环境与平台 16
4.2 神经网络选取和训练 18
4.3 界面设计 23
4.4 程序设计 26
4.5 本章小结 36
5 系统调试 37
5.1 摄像头模块调试 37
5.2 LCD 显示屏调试 37
5.3 充电芯片焊接与调试 38
5.4 蓝牙解码模块调试 39
5.5 D/A 芯片调试 40
5.6 功放芯片调试 41
5.7 外壳设计修改 41
5.8 总体安装调试 42
5.9 本章小结 43
6 实验结果及分析 44
6.1 功能选择测试 44
6.2 NES 游戏测试 44
6.3 猜拳模式测试 45
6.4 蓝牙音箱测试 46
6.5 本章小结 47
7 总结与展望 48
7.1 总结 48
7.2 展望 48
参考文献............................................................................................................................错误！未定义书签。
致谢 50
