基于手势控制的车载氛围灯交互系统的研究与应用

第一章 绪论

1.1研究背景和意义

1.1.1研究背景

从各大车展的展出车型可以看出，乘用车的功能越来越多，不再是仅仅是一个代步工具的角色。[车载娱乐系统人机交互设计研究]各大汽车厂商纷纷赋予汽车更多的角色，让它成为集出行、办公、生活、娱乐于一体的生活伴侣。汽车的内部空间、屏幕、操作和交互过程也正在发生天翻地覆的变化。在现代科技的加持下，出现了多种新兴的人机交互技术，和原来以方向盘、按键、旋钮等为基础的交互方式不同，用户可以使用手势、语音、表情等交互方式实现人与车的交互。[基于符号学的车内手势交互设计研究]当车内交互发生改变时，人在车内的体验同样也会发生巨大的变化。车舱人机交互的设计直接影响人们对汽车的舒适性、娱乐性和操作性的体验。[汽车人机交互界面用户自定义手势设计研究与应用]由于手势交互能减少驾驶者的视觉分心和认知负担，手势交互逐渐成为汽车人机交互界面设计研究的重要方向。[基于全自动驾驶情境下驾驶导航需求的手势交互设计研究]相较于语音交互，手势交互在交互情境中具备更多的优势，主要体现在：

高隐私。基于语音交互的智能设备被曝出存在隐私安全问题后，加重了用户对隐私外泄的担忧。手势交互支持多种技术解决方案，可对手势识别区域进行划定，并且在非工作状态下可以用过遮挡等简单的技术手段对摄像头进行物理隔离，有效地避免用户隐私泄露。

‚高识别率。由于口音、环境噪声等客观因素，导致语音识别准确率要显著低于手势。驾驶行为设计用户安全，更高的手势识别准确率将意味着更高的安全性，避免因错误识别带来的安全隐患。

ƒ避免与其他语音混淆。当用户处于对话或打电话状态时，将可能对语音交互识别产生干扰。手势交互可以有效避免此类问题的出现，提高用户的交互体验。

氛围灯是一种应用在汽车内部，用于烘托车内环境氛围的内饰灯，用户可以根据需要设定氛围灯颜色、亮度，营造舒适、奢华的美感，具有良好的用户体验效果。除了营造氛围的作用，氛围灯还被汽车厂商作为一种体现差异性的配件，许多汽车厂商会设计代表自身品牌的氛围灯样式，来展现不同品牌的辨识性，例如江淮iC5在车舱内安装了64色音乐律动氛围灯，时尚新潮；蔚来eT7在舱内采用了环绕光瀑式氛围灯，体现了汽车的科技感。氛围灯的颜色是根据LED灯珠(RGB三色)的发光颜色来确定，理论上R(红)、G(绿)、B(蓝)三色组合可以让氛围灯调配出无限的颜色。常见的氛围灯颜色有很多，按厂商的需求而定。以奔驰S级车型为例，车内氛围灯的颜色多为暖色，白色、红色、粉色、紫色等，体现其高端、奢华的品牌特征。氛围灯的灯效也较为丰富，可以根据需求设定为单色灯光和律动灯光，灯光的变化会让车舱环境带给人不同的体验感受，这也是氛围灯的受大众欢迎的原因之一。

[汽车内饰氛围灯结构设计和发展趋势]氛围灯在车内可布置的位置有多处，一般安装在仪表轮廓处、仪表板处、副仪表板处、出风口、杯托、扶手和门护板处等位置，安装位置同样视需求而定，能够实现不同的效果。[邢文]氛围灯的布置效果在车内主要呈现“线”和“面”的形式。“线”类型的氛围灯布置在仪表盘、车门、杯托等位置，“面”类型的氛围灯主要布置在天窗，如劳斯莱斯的星空顶。目前氛围灯的功能十分多样，能够在整个驾驶过程中带给别人不同的体验。当用户打开车门时，氛围灯会在地面投影出欢迎标语；进入车内，氛围灯会启动迎宾环绕的律动效果；驾驶时，氛围灯的亮度会变暗，避免对驾驶员视线的干扰；播放音乐时，氛围灯会随着音乐律动；离开时，车门车窗未关闭会有灯光提醒。

[基于符号学的车内手势交互设计研究]从人机交互角度来看，新的交互方式更加自然，可以最大程度的减少用户的认知壁垒，带来更好的体验感受。手势交互应用在人-氛围灯交互中，可以解放用户的双手与车内灯效进行无障碍的持续性交互，这种交互方式将会被更改的用户所接受并使用。

车内交互方式研究现状

[我的综述]随着互联网、大数据和人工智能等先进技术在交通工具运输领域的应用和发展，智能驾驶成为目前研究的热门话题。智能驾驶汽车座舱的交互设计更是各行业研究人机智能交互的主要方向。驾驶任务是主要是保持基本行驶的主任务以及包含各类娱乐与信息的次任务,随着汽车智能化，在不影响驾驶安全的情况下，驾驶员可以更多地挪用主任务的注意力转移到次任务上。智能驾驶是信息化时代实现驾驶任务的发展方向[2]。随着车内各种功能的增加，其控制及交互方式也在相应增多。面对车内复杂的人机交互操作，提高用户在不同场景下的交互效率和舒适性具有重要的研究意义。[汽车人机交互界面用户自定义手势设计研究与应用]福特（Ford）和谷歌都在对汽车中手势交互应用做研发，以视觉识别特定的手势操作来代替传统的仪表盘的操作。在 Hyundai HCD-14 概念车中其车载信息服务采用的是空间手势交互系统。HCD-14概念车的内饰部分去掉了一般车内都具有的中控台部分，车内只有极少的物理控制按键及旋钮，取而代之的是驾驶座正前方基于手势识别技术的驾驶控制交互界面系统，该系统具备先进的 3D 手势识别与眼动视线追踪功能，因而驾驶者只需做出特定的空间手势，就可以操作智能导航、行车资讯、车载影音系统、同时，还可以基于蓝牙技术操作与智能手机相关的功能操作，在前挡风玻璃上有 HUD抬头显示器显示行车状况及资讯，从而使驾驶者减少驾驶分心，保证行车安全。奔驰公司在 2012 年的 CES 展上推出了其全新的手势控制系统，该系统采用手势控制系统，用户可通过手势控制仪表板及 HUD 显示部分。

手势交互的研究现状

[车载场景下基于深度学习的手势识别研究]手势作为一种自然、直观以及灵活的交流方式，成为了人机交互领域研究的热点。早期的手势识别技术需要借助穿戴式设备来获取手部动作和信息，常见的有佩戴手套、在手臂安装传感器。这种方式虽然可以获得较为精确的手部信息和手势动作，但存在的问题是设备成本较高，交互方式不自然，用户对穿戴设备有一定的排斥感。[基于视觉的手势识别与交互研究]目前基于视觉的手势识别的研究进展十分迅速，只需要借助摄像头图像就可以完成图像识别。识别的流程大致如下：通过摄像头捕获无标记的手势图像进行分析，涉及的领域包括计算机视觉、模式识别、图像处理及人工智能等，利用人手肤色、结构、轮廓、关节点数目，判断手部运动方向和手势角度，实现手势识别。

[基于视觉的手势识别与交互研究]目前随着深度学习算法的突破，手势识别技术也随之取得了长足的发展，其应用范围也在不断扩展。在交通工具领域，汽车车舱中，增加了以手势控制为代表的多种人机交互方式。用户可以借助手势实现对车内功能的操控，避免因为触控操作而分心，让司机更加注意路况，减少交通意外的发生；在休闲娱乐领域，让游戏方式发生变化。玩家可以用手势来控制游戏人物完成射击、拍打、闪躲等动作，取代了鼠标和键盘的传统操作方式，让玩家获得了沉浸式的游戏体验；在智能设备领域，通过手势控制无人机、机器人的运动，让机器人改变角度转向。

[动态手势识别及其在车载HUD中应用研究]手势识别的分类可以从两个方面来分类，第一个方面，按应用需求分类；第二个方面，按采集设备分类。下面从这两个方面展开如下：

1. 按应用需求分类

应用需求中手势分为静态手势和动态手势。静态手势不与时间直接关联，特指对手的静态状态的姿态做识别， 包括手势的形式、轮廓、空间位置等方面。不同的手势特征可以表达特定的含义，对这些含义进行分析处理，识别出静态手势的具体意义的称为静态手势识别。

动态手势指的是在连续时间线上一连串图像帧中的手势，这一连串的手势表达一个特定含义，单一的一帧图像无法显示本来的意义。动态手势因为运动的缘故，需要考虑对目标的运动追踪问题。

2. 按采集设备分类

在手势识别技术的研究过程中，数据的采集设备主要由两种，数据手套和摄像头。

数据手套是通过在手头上设定不同的触点以供数据采集的手套，手套中安装不同功能的传感器，例如角度、相对位置变化感应等传感器，通过这些传感器，将手活动时不同状态、运动方向、运动速度等信息提取出来，然后再传送到计算机分析处理这些数据，识别其表示的含义，此种方法称为数据手套手势识别。该方法相对于其他方法采集得数据量小，这样计算机处理的起来相对速度比较高，造成系统的响应的延时小，实时性较强。虽然该方法就有这也优点，但是其最大的缺点是，需要佩戴，造成使用不灵活，用户体验感不佳，因此在生活中使用范围不广。另外，数据手套中含有各种的数据采集传感器，以致手套价格高昂，不利于推广。

采用摄像头采集手势图像序列信息，是目前计算机视觉研宄的主要对象，相对于数据手套，其具有设备简单，价格便宜等优点，另外，用户可以直接通过手的动作控制系统，操作灵活，就像实际操作一样，用户体验感好。另外，目前有提供深度数据的摄像头，如微软Kinect，由二维升级到三维，适合提取立体图像数据。但是，摄像头采集也存在缺点，其输入数据量大。对于低像素的图像帧，其颜色差别大，高像素的图像帧，需要处理的数据量大，因此导致系统的响应时间延长。另一方面，摄像头采集的图像随环境影响大，例如光照条件等，在光线弱的情况下，普通摄像头基本采集不到目标手势，对于以上缺点，基于摄像头的手势识别面临着挑战，需要进一步研究和完善。

手势识别中的关键技术

[我的文字]一般的手势识别需要先用摄像头采集图像数据，然后预处理采集到的手势图像，利用图像去噪算法去除图像噪声，还可以利用形态学变换和颜色空间变换算法改变目标形态和颜色空间。然后通过分割算法分割手势区域，提取手势特征后进行分类，最后将分类后的手势代表的意义展示出来。可以看出，手势识别的整个过程还是较为复杂的，需要多次处理才能获得手势识别的结果。深度学习技术的进步带动图像识别的蓬勃发展，只需要标注大量的数据再输入深度神经网络训练就可以得出识别，不再需要手动提取图像特征。常见的网络有卷积神经网络(CNN)，循环神经网络(RNN)。

氛围灯的研究现状

[基于感性工学的氛围光色情感定量方法]氛围灯的使用在品牌识别、特色营造、风格确定扥诸多方面起到重要作用。色光因其能唤醒人们更为丰富的情绪和情感体验，给予用户更多视觉和心理上的体验，而引起普遍关注。随着照明新技术的研发和应用，汽车内饰氛围的营造具有了更为广阔的空间。[浅析汽车内饰氛围灯的设计和应用]目前车内氛围灯主要应用的技术是LED光源配合柔性光纤或者注塑导光条，[费孝峰论文]氛围灯控制器通过LIN总线发送命令，控制氛围灯的开关和律动。[基于感性工学的氛围光色情感定量方法]LED调色光谱的能力让氛围灯拥有丰富的色相。色彩会对情绪产生影响即氛围灯会影响人的情绪。[色彩与光影在交互性照明中的应用研究] 照明色彩能给人最直观的感知，视知觉会随着色彩变化产生相关适应性，其直接影响人对视觉信息和视觉造型的判定。纯度越高，色彩的性格越明显、积极，在视觉上趋向前进；纯度越低，则越含糊，视觉上趋于后退。不仅如此，面积、彩度、明度也会在一定程度上影响色彩的对比效果，面积小、彩度高、明度高的色彩更突出。从环境心理学方面看，光的色彩物理特性与心理知觉有关，在红色光源环境中，人的心跳、脉搏、血压会加快，情绪紧张或焦虑；相反，处在蓝色光源环境中，脉搏减缓且情绪冷静，呈现放松的状态。

国内外研究现状及发展趋势

[我的开题报告]车载氛围灯是汽车个性化发展的一个热点方向，但还处于起步阶段，很多功能还有待发掘。氛围灯的颜色和灯效变化引起人的情绪变化是目前研究的重点。黄璐敏[24]将舞台灯光迁移到家用气氛灯效设计中，研究了灯光动作和情感关系的联系；邢文[25]研究了色彩-情绪的映射关系，发现色彩跳转对驾驶员情绪会产生相应的影响，设计了氛围灯色彩跳转的运行逻辑；王立山[]发现车载氛围灯颜色和亮度的变化会影响驾驶人员的反应时间，会对驾驶安全产生规律性影响。Sven Schellinger等[Advantages of ambient interior lighting for drivers contrast vision]研究了氛围灯的颜色和亮度，确定了适合驾驶员对比度视觉的颜色和亮度范围。Sivaprasad Nandyala等[Human Emotion Based Interior Lighting Control]开发了一种基于情绪的车内照明控制系统，通过卷积神经网络来识别情绪识别系统(ERS)特征，判读驾驶员的情绪和表情来控制汽车的车内照明。Mariam Hassib等[Detecting and Influencing Driver Emotions Using Psycho-Physiological Sensors and Ambient Light]通过穿戴式传感器验证车内环境光对驾驶员驾驶能力的影响，发现在合适的环境照明影响下，驾驶性能得到提高。有关于氛围灯的交互目前的研究还比较少，更多的是研究车内人机界面交互。费孝峰[]开发了一个基于深度学习的LED车载语音交互氛围灯系统，采用语音交互方式控制车载照明系统，丰富了氛围灯的操控方式。补充车内其他交互的国内外研究趋势综述。

第二章 手势识别方法概述

手势识别按照分类是目标识别的一种，常见的目标识别有行人检测、车辆检测