本发明属于机动车驾驶技术领域，涉及一种汽车驾驶员识别系统，具体来说是一种驾驶员面部表情的自动定位和识别系统。
背景技术：
随着生活水平的提高，汽车逐渐成为人们生活中的重要工具，在带来巨大便利的同时，由于交通事故的发生也造成了惨痛的代价，这其中与驾驶员有关的交通事故更是占绝大多数。在现代社会中的快节奏影响，因驾驶员开车过程中情绪不稳引发的交通事故更是层出不穷。因此需要研究驾驶员的情绪状态，在发现驾驶员情绪波动时对驾驶员加以提醒和警示以降低交通事故发生的可能性。驾驶员无论是高兴还是愤怒、伤心都会影响交通安全，所以识别驾驶员的不同情绪状态在驾驶员驾驶车辆的过程中具有重要意义。
目前驾驶员的情绪状态没有被引起足够的重视，在我国交通现状和形势下研究驾驶员情绪对驾驶安全的影响有着良好的应用前景，而驾驶员本人在驾驶车辆的过程中往往忽视自己情绪的变化。因此，通过识别驾驶员的面部表情，提醒和警示驾驶员注意情绪波动对减少交通事故的发生具有较大意义。
技术实现要素：
本发明提供一种驾驶员面部表情的自动定位和识别系统，来解决驾驶员在驾驶过程中因为情绪状态不佳导致交通事故的发生。
本发明解决上述问题所采用的技术方案是：
一种驾驶员面部表情的自动定位和识别系统，其特征在于，包括驾驶员图像采集模块(1)、距离感知模块、自动对正模块(2)、驾驶员面部识别模块、警示模块；
所述驾驶员图像采集模块(1)包括摄像头(11)、夹具(13)和移动平台(15)，用于在实验室和实车环境下的驾驶员面部图像采集，摄像头(11)固定在夹具(13)上，夹具(13)与移动平台(15)连接，可安装在车辆驾驶员和实验室操作台上；跟据车型的不同和实验室驾驶模拟器的空间大小确定驾驶员图像采集模块的安装位置，保证在不同环境下均可以正常工作；
由于车型的空间大小存在差异，并且实验室操作台的工作空间也不尽相同，驾驶员图像采集模块的安装位置需要根据实际情况综合考量。例如紧凑型的轿车的空间比大型城市越野车的空间要小很多，驾驶员图像采集模块在紧凑型轿车的安装位置和各个方向上的活动空间都要小上许多。驾驶员图像采集模块在不同的车型和实验室操作台上的安装位置都应对准驾驶员的面部，保证能够清晰明了的采集驾驶员的面部表情。
驾驶员图像采集模块的三个自由度的调整阈值包括两个部分：一个是各个自由度的基础行程、另一个是各个自由度由于安装位置和空间大小产生的偏差。
所述距离感知模块根据驾驶员图像采集模块采集的驾驶员面部表情，采用改进后的积分投影算法定位出驾驶员眼睛、鼻子、嘴巴和耳朵的位置，从而确定摄像头与驾驶员面部中心的距离与角度；
所述自动对正模块(2)包括y轴水平移动机构(21)、y轴旋转机构(22)、z轴旋转机构(23)；y轴水平移动机构(21)、y轴旋转机构(22)、z轴旋转机构(23)均由步进电机(2x1，x＝1,2,3)和减速机构构成；自动对正模块(2)根据距离感知模块计算出的驾驶员图像采集模块(1)与驾驶员面部中心的距离与角度，在三个自由度上控制步进电机(2x1)，改变驾驶员图像采集模块(1)的位置，使驾驶员的鼻子区域在摄像头中心区域，起到与驾驶员面部对正的效果，保证驾驶员图像采集模块可以准确的采集驾驶员面部信息；
为了保证驾驶员图像采集模块采集驾驶员的面部图像在图片的中央，自动对正模块调整驾驶员图像采集模块的安装位置。若驾驶员的面部中心没在图像的中心就需要一直调整驾驶员图像采集模块的位置，这样识别率低下；可通过保证驾驶员的鼻子在图像的中心区域来确保驾驶员面部对正的效果。
所述驾驶员面部识别模块用于处理驾驶员的面部图像，采用k近邻法(knn)的算法将驾驶员的面部特征分类，识别出驾驶员的面部表情，并将驾驶员正常操控车辆时的表情定义为正常；驾驶员面部识别模块实时识别出驾驶员的面部表情，并根据驾驶员面部表情显露出表情的清晰程度不同，将驾驶员的面部表情分成轻度表情和明显表情；
所述警示模块在驾驶员面部识别模块识别出驾驶员面部的表情时，根据驾驶员的面部表情的类型和表情的清晰程度不同，分成不同的模式分别对驾驶员做出相应的提醒与警示，采用多种应对措施提醒驾驶员行车安全。
随着驾驶员的面部表情的明显程度的加深，驾驶员驾驶车辆过程中的专心程度也降低。因此需要着重关注驾驶员的明显表情。
进一步地，所述驾驶员图像采集模块的摄像头(11)采用单目广角摄像头，在摄像头(11)与夹具(13)之间设有转向销轴(12)；转向销轴(12)与y轴旋转机构通过与y轴旋转锥齿轮(215)啮合，具体由y轴旋转步进电机(211)通过y轴减速齿轮(212、213、214)、y轴旋转锥齿轮(215)调整y轴转角；z轴旋转机构与夹具(13)由z轴旋转锥齿轮啮合齿轮(225)连接，具体由z轴旋转步进电机(221)通过z轴减速机构(222、223、224)、z轴旋转锥齿轮(225)调整夹具的z轴转角；夹具(13)由水平轴承(14)连接移动平台(15)；移动平台可直接放置在实验室驾驶模拟器实验台上，也可以在底部加装吸盘，由吸盘将驾驶员图像采集模块固定在实车的挡风玻璃上，并对准驾驶室；y轴水平移动机构通过y轴水平移动斜齿圆柱齿轮(235)与移动平台(15)连接，具体由y轴水平移动步进电机(231)通过y轴水平移动减速机构(232、233、234)、y轴水平移动斜齿圆柱齿轮(235)调整移动平台的y轴水平位置。
进一步地，所述驾驶员图像采集模块具有三个自由度，其中摄像头具有y轴一个方向的旋转自由度，夹具在移动平台上具有y轴方向横向平移和z轴方向的旋转自由度；自动对正模块的三个步进电机和减速机构分别对应控制驾驶员图像采集模块的一个自由度，并且每个方向的自由度可以单独调整，相互独立；
三个自由度的调整阈值可根据实验室驾驶实验台空间大小和不同车辆的空间大小来确定，并且安装的位置也会导致三个自由度行程加大，故三个自由度的调整阈值的计算方法如下：
t＝b+d
其中：t为各个自由度的调整阈值，b为各个自由度的基础行程，d为各个自由度的修正偏差；
y轴的旋转自由度的基础行程为80°，z轴的旋转自由度行程上限为0°，y轴水平移动自由度行程上限为100mm；
d＝λ×δ+d×μ
δ为驾驶员图像采集模块中心与理论安装中心位置的距离，λ为安装位置偏差系数；d车辆的宽度或实验室驾驶员平台宽度，μ为空间大小系数，空间越大μ越大。
进一步地，所述自动对正模块(2)的减速机构包括太阳轮(2x2，x＝1，2，3)、四个行星齿轮(2x3)、行星架(2x4)，太阳轮(2x2)通过花键与步进电机(2x1)连接，行星架(2x4)连接四个行星齿轮(2x3)，行星架通过花键连接锥齿轮或者斜齿轮(2x5)；
动力从太阳轮(2x2)输入，通过四个行星齿轮(2x3)传递给行星架(2x4)，再传递给锥齿轮或者斜齿轮(2x5)输出。
进一步地，所述距离感知模块识别驾驶员面部图像，通过驾驶员面部的几何特征来定位角度与位置，具体是依靠驾驶员的眼睛与嘴巴形成的倒三角特征计算确定驾驶员眼睛与鼻子的位置；然后通过空间坐标的变换确定驾驶员与摄像头的角度和位置信息；
经过自动对正模块三个自由度的调整使摄像头正对着驾驶员的鼻子以保证驾驶员面部在图像正中央范围内；距离感知模块确定驾驶员鼻子在摄像头拍摄图像中的位置坐标，记录3次的坐标位置(x1,y1)(x2,y2)(x3,y3)，根据三点坐标计算过这三点的圆方程为：
x2+y2+dx+ey+f＝0
根据经过的三点坐标确定圆方程的系数d、e、f；自动对正模块只需要保证驾驶员的鼻子在圆方程的范围内即对正完成；若所取三点位置过近，该圆方程的半径小于50mm，则以半径为50mm的同心圆为实际判定范围；
当驾驶员的面部中心在判定范围内，自动对正模块不需要调整驾驶员图像采集模块的位置；当驾驶员的面部中心超出判定范围内，自动对正模块从三个自由度上调整驾驶员图像采集模块的位置至判定范围中心。
进一步地，所述距离感知模块通过处理驾驶员的面部图像的灰度值，使驾驶员眼睛、鼻子和嘴巴的特征区域的灰度值相近，以面积微元为最小单位，在二维平面内采用积分与微分投影结合的算法计算出同一灰度值区域的中心位置二维坐标(x,y)来定位驾驶员面部表情中特征区域：眼睛、鼻子、嘴巴和耳朵的中心位置，公式如下：
δσ＝f(x+δx,y+δy)-f(x,y)
式中，
根据计算出的驾驶员眼睛、鼻子、嘴巴和耳朵的中心位置，确定出驾驶员面部中心与驾驶员面部识别模块之间的距离。
进一步地，所述驾驶员面部识别模块识别驾驶员面部表情的步骤如下：
a、当距离感知模块工作时，直接获取距离感知模块计算的特征区域的中心位置；针对区域位置进行特征提取；
b、当距离感知模块未工作时，对驾驶员面部图像中的眼睛、鼻子、嘴巴和耳朵四个区域进行特征提取：采用旋转不变相位量化和改进的局部二值模式的算法；
c、采用k近邻法(knn)的算法将提取出的面部特征区域的结果进行分类，取k＝7，优化算法对特征区域分类的准确性；
d、根据特征区域分类结果确定驾驶员面部表情的类型和面部表情的明显程度；
所述驾驶员的表情，包括正常、大笑、接电话、沮丧、愤怒、伤心、疲劳7种表情；
当驾驶原的表情不是正常时，同时确定驾驶员面部表情的明显程度；所述驾驶员面部表情的明显程度包括轻度表情和明显表情。
随着驾驶员的面部表情的明显程度的加深，驾驶员驾驶车辆过程中的专心程度也降低。因此需要着重关注驾驶员的明显表情。
由于驾驶员在大笑过程中可能出现分心的现象，为了保证驾驶过程中的行车安全当驾驶员处于大笑状态时也需要提高刷新率。
进一步地，所述驾驶员面部识别模块实时识别驾驶员的面部表情，根据之前识别的驾驶员面部表情的结果确定面部识别刷新率，随着驾驶员的表情明显程度加快面部识别速率；
所述驾驶员面部识别模块的实时刷新率为：
当驾驶员的面部表情为正常时面部识别模块每5秒识别一次；
当驾驶员的面部表情为非正常时面部识别模块提高面部识别刷新率：面部表情为轻度表情时，面部识别模块每2秒识别一次；面部表情为明显表情时，面部识别模块每0.5秒识别一次。
进一步地，所述警示模块根据驾驶员的面部表情做出不同的提醒与警示，具体分类如下：
a、当驾驶员的面部表情为正常、大笑状态时：对驾驶员的行为不做任何提醒与警示；
b、当驾驶员在接电话状态时：语音提示驾驶员注意行车规范，并向驾驶员警示根据交通法接打电话扣2分，提醒驾驶员停止接打电话或者减速靠边停车后再接打电话；
c、当驾驶员的面部表情为沮丧、伤心状态：
若驾驶员的面部表情为轻度表情时，播放舒缓的音乐；
若驾驶员的面部表情为明显表情时，自动打开导航，实时搜索附近的医院和警察局和显示周边实时路况信息，并可以一键导航目的地；
d、当驾驶员的面部表情为愤怒状态：
若驾驶员的面部表情为轻度表情时，自动打开空调制冷缓解驾驶员冲动的情绪；
若驾驶员的面部表情为明显表情时，警示驾驶员安全行驶、勿开斗气车，当驾驶员处于愤怒状态达到一定时间后减速停车；
e、当驾驶员的面部表情为疲劳状态：
若驾驶员的面部表情为轻度表情时，打开车内灯光，自动鸣笛5秒给驾驶员提神；
若驾驶员的面部表情为明显表情时，打开双闪以警示其他驾驶员注意，自动搜索距离最近的服务区或停车地点。
进一步地，所述驾驶员面部表情的自动定位和识别系统工作步骤为：
首先驾驶员图像采集模块实时采集驾驶员的面部图像；
然后距离感知模块定时工作，在一个周期内计算分析驾驶员面部中心与摄像头之间的角度和位置关系，确定驾驶员图像采集模块的工作范围；
接着自动对正模块根据计算出的角度和位置关系从三个自由度上调整驾驶员图像采集模块与驾驶员的相对位置，保证驾驶员面部中心在驾驶员图像采集模块的工作范围内；
接着关闭距离感知模块和自动对正模块直至下个工作周期，而驾驶员面部识别模块实时工作，根据驾驶员图像采集模块采集的信息计算分析驾驶员的面部表情并将驾驶员的面部表情分为轻度表情和明显表情；
最后警示模块根据驾驶员的面部表情的类型和表情的清晰程度不同，分成不同的模式分别对驾驶员做出相应的提醒与警示。
附图说明
图1为本发明的结构示意图；
图中标记为：1-驾驶员图像采集模块、11-摄像头、12-转向销轴、13-夹具、14-水平轴承、15-移动平台、21-y轴水平移动机构、22-y轴旋转机构、23-z轴旋转机构、211-y轴水平移动步进电机、212-y轴水平移动减速机构。
图2为本发明的y轴水平移动减速机构的示意图；
图中标记为：211-y轴水平移动步进电机、212-y轴水平移动太阳轮、213-y轴水平移动行星轮、214-y轴水平移动行星架、215-y轴水平移动锥齿轮。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行跟细致的阐述。可以理解，此处的具体实施仅仅用以解释本发明，并不限定本发明。
如附图1、2所示，本发明是一种驾驶员面部表情的自动定位和识别系统，包括驾驶员图像采集模块(1)、距离感知模块、自动对正模块(2)、驾驶员面部识别模块、警示模块；
所述驾驶员图像采集模块(1)包括摄像头(11)、夹具(13)和移动平台(15)，用于在实验室和实车环境下的驾驶员面部图像采集，摄像头(11)固定在夹具(13)上，夹具(13)与移动平台(15)连接，可安装在车辆驾驶员和实验室操作台上；跟据车型的不同和实验室驾驶模拟器的空间大小确定驾驶员图像采集模块的安装位置，保证在不同环境下均可以正常工作；
由于车型的空间大小存在差异，并且实验室操作台的工作空间也不尽相同，驾驶员图像采集模块的安装位置需要根据实际情况综合考量。例如紧凑型的轿车的空间比大型城市越野车的空间要小很多，驾驶员图像采集模块在紧凑型轿车的安装位置和各个方向上的活动空间都要小上许多。驾驶员图像采集模块在不同的车型和实验室操作台上的安装位置都应对准驾驶员的面部，保证能够清晰明了的采集驾驶员的面部表情。
驾驶员图像采集模块的三个自由度的调整阈值包括两个部分：一个是各个自由度的基础行程、另一个是各个自由度由于安装位置和空间大小产生的偏差。
所述距离感知模块根据驾驶员图像采集模块采集的驾驶员面部表情，采用改进后的积分投影算法定位出驾驶员眼睛、鼻子、嘴巴和耳朵的位置，从而确定摄像头与驾驶员面部中心的距离与角度；
所述自动对正模块(2)包括y轴水平移动机构(21)、y轴旋转机构(22)、z轴旋转机构(23)；y轴水平移动机构(21)、y轴旋转机构(22)、z轴旋转机构(23)均由步进电机(2x1，x＝1,2,3)和减速机构构成；自动对正模块(2)根据距离感知模块计算出的驾驶员图像采集模块(1)与驾驶员面部中心的距离与角度，在三个自由度上控制步进电机(2x1)，改变驾驶员图像采集模块(1)的位置，使驾驶员的鼻子区域在摄像头中心区域，起到与驾驶员面部对正的效果，保证驾驶员图像采集模块可以准确的采集驾驶员面部信息；
为了保证驾驶员图像采集模块采集驾驶员的面部图像在图片的中央，自动对正模块调整驾驶员图像采集模块的安装位置。若驾驶员的面部中心没在图像的中心就需要一直调整驾驶员图像采集模块的位置，这样识别率低下；可通过保证驾驶员的鼻子在图像的中心区域来确保驾驶员面部对正的效果。
所述驾驶员面部识别模块用于处理驾驶员的面部图像，采用k近邻法(knn)的算法将驾驶员的面部特征分类，识别出驾驶员的面部表情，并将驾驶员正常操控车辆时的表情定义为正常；驾驶员面部识别模块实时识别出驾驶员的面部表情，并根据驾驶员面部表情显露出表情的清晰程度不同，将驾驶员的面部表情分成轻度表情和明显表情；
随着驾驶员的面部表情的明显程度的加深，驾驶员驾驶车辆过程中的专心程度也降低。因此需要着重关注驾驶员的明显表情。
所述警示模块在驾驶员面部识别模块识别出驾驶员面部的表情时，根据驾驶员的面部表情的类型和表情的清晰程度不同，分成不同的模式分别对驾驶员做出相应的提醒与警示，采用多种应对措施提醒驾驶员行车安全。
所述驾驶员图像采集模块的摄像头(11)采用单目广角摄像头，在摄像头(11)与夹具(13)之间设有转向销轴(12)；转向销轴(12)与y轴旋转机构通过与y轴旋转锥齿轮(215)啮合，具体由y轴旋转步进电机(211)通过y轴减速齿轮(212、213、214)、y轴旋转锥齿轮(215)调整y轴转角；z轴旋转机构与夹具(13)由z轴旋转锥齿轮啮合齿轮(225)连接，具体由z轴旋转步进电机(221)通过z轴减速机构(222、223、224)、z轴旋转锥齿轮(225)调整夹具的z轴转角；夹具(13)由水平轴承(14)连接移动平台(15)；移动平台可直接放置在实验室驾驶模拟器实验台上，也可以在底部加装吸盘，由吸盘将驾驶员图像采集模块固定在实车的挡风玻璃上，并对准驾驶室；y轴水平移动机构通过y轴水平移动斜齿圆柱齿轮(235)与移动平台(15)连接，具体由y轴水平移动步进电机(231)通过y轴水平移动减速机构(232、233、234)、y轴水平移动斜齿圆柱齿轮(235)调整移动平台的y轴水平位置。
所述驾驶员图像采集模块具有三个自由度，其中摄像头具有y轴一个方向的旋转自由度，夹具在移动平台上具有y轴方向横向平移和z轴方向的旋转自由度；自动对正模块的三个步进电机和减速机构分别对应控制驾驶员图像采集模块的一个自由度，并且每个方向的自由度可以单独调整，相互独立；
三个自由度的调整阈值可根据实验室驾驶实验台空间大小和不同车辆的空间大小来确定，并且安装的位置也会导致三个自由度行程加大，故三个自由度的调整阈值的计算方法如下：
t＝b+d
其中：t为各个自由度的调整阈值，b为各个自由度的基础行程，d为各个自由度的修正偏差；
y轴的旋转自由度的基础行程为80°，z轴的旋转自由度行程上限为0°，y轴水平移动自由度行程上限为100mm；
d＝λ×δ+d×μ
δ为驾驶员图像采集模块中心与理论安装中心位置的距离，λ为安装位置偏差系数；d车辆的宽度或实验室驾驶员平台宽度，μ为空间大小系数，空间越大μ越大。
所述自动对正模块(2)的减速机构包括太阳轮(2x2，x＝1，2，3)、四个行星齿轮(2x3)、行星架(2x4)，太阳轮(2x2)通过花键与步进电机(2x1)连接，行星架(2x4)连接四个行星齿轮(2x3)，行星架通过花键连接锥齿轮或者斜齿轮(2x5)；
动力从太阳轮(2x2)输入，通过四个行星齿轮(2x3)传递给行星架(2x4)，再传递给锥齿轮或者斜齿轮(2x5)输出。
所述距离感知模块识别驾驶员面部图像，通过驾驶员面部的几何特征来定位角度与位置，具体是依靠驾驶员的眼睛与嘴巴形成的倒三角特征计算确定驾驶员眼睛与鼻子的位置；然后通过空间坐标的变换确定驾驶员与摄像头的角度和位置信息；
经过自动对正模块三个自由度的调整使摄像头正对着驾驶员的鼻子以保证驾驶员面部在图像正中央范围内；距离感知模块确定驾驶员鼻子在摄像头拍摄图像中的位置坐标，记录3次的坐标位置(x1,y1)(x2,y2)(x3,y3)，根据三点坐标计算过这三点的圆方程为：
x2+y2+dx+ey+f＝0
根据经过的三点坐标确定圆方程的系数d、e、f；自动对正模块只需要保证驾驶员的鼻子在圆方程的范围内即对正完成；若所取三点位置过近，该圆方程的半径小于50mm，则以半径为50mm的同心圆为实际判定范围；
当驾驶员的面部中心在判定范围内，自动对正模块不需要调整驾驶员图像采集模块的位置；当驾驶员的面部中心超出判定范围内，自动对正模块从三个自由度上调整驾驶员图像采集模块的位置至判定范围中心。
所述距离感知模块通过处理驾驶员的面部图像的灰度值，使驾驶员眼睛、鼻子和嘴巴的特征区域的灰度值相近，以面积微元为最小单位，在二维平面内采用积分与微分投影结合的算法计算出同一灰度值区域的中心位置二维坐标(x,y)来定位驾驶员面部表情中特征区域：眼睛、鼻子、嘴巴和耳朵的中心位置，公式如下：
δσ＝f(x+δx,y+δy)-f(x,y)
式中，
根据计算出的驾驶员眼睛、鼻子、嘴巴和耳朵的中心位置，确定出驾驶员面部中心与驾驶员面部识别模块之间的距离。
所述驾驶员面部识别模块识别驾驶员面部表情的步骤如下：
a、当距离感知模块工作时，直接获取距离感知模块计算的特征区域的中心位置；针对区域位置进行特征提取；
b、当距离感知模块未工作时，对驾驶员面部图像中的眼睛、鼻子、嘴巴和耳朵四个区域进行特征提取：采用旋转不变相位量化和改进的局部二值模式的算法；
c、采用k近邻法(knn)的算法将提取出的面部特征区域的结果进行分类，取k＝7，优化算法对特征区域分类的准确性；
d、根据特征区域分类结果确定驾驶员面部表情的类型和面部表情的明显程度；
所述驾驶员的表情，包括正常、大笑、接电话、沮丧、愤怒、伤心、疲劳7种表情；
当驾驶原的表情不是正常时，同时确定驾驶员面部表情的明显程度；所述驾驶员面部表情的明显程度包括轻度表情和明显表情。
随着驾驶员的面部表情的明显程度的加深，驾驶员驾驶车辆过程中的专心程度也降低。因此需要着重关注驾驶员的明显表情。
由于驾驶员在大笑过程中可能出现分心的现象，为了保证驾驶过程中的行车安全当驾驶员处于大笑状态时也需要提高刷新率。
所述驾驶员面部识别模块实时识别驾驶员的面部表情，根据之前识别的驾驶员面部表情的结果确定面部识别刷新率，随着驾驶员的表情明显程度加快面部识别速率；
所述驾驶员面部识别模块的实时刷新率为：
当驾驶员的面部表情为正常时面部识别模块每5秒识别一次；
当驾驶员的面部表情为非正常时面部识别模块提高面部识别刷新率：面部表情为轻度表情时，面部识别模块每2秒识别一次；面部表情为明显表情时，面部识别模块每0.5秒识别一次。
所述警示模块根据驾驶员的面部表情做出不同的提醒与警示，具体分类如下：
a、当驾驶员的面部表情为正常、大笑状态时：对驾驶员的行为不做任何提醒与警示；
b、当驾驶员在接电话状态时：语音提示驾驶员注意行车规范，并向驾驶员警示根据交通法接打电话扣2分，提醒驾驶员停止接打电话或者减速靠边停车后再接打电话；
c、当驾驶员的面部表情为沮丧、伤心状态：
若驾驶员的面部表情为轻度表情时，播放舒缓的音乐；
若驾驶员的面部表情为明显表情时，自动打开导航，实时搜索附近的医院和警察局和显示周边实时路况信息，并可以一键导航目的地；
d、当驾驶员的面部表情为愤怒状态：
若驾驶员的面部表情为轻度表情时，自动打开空调制冷缓解驾驶员冲动的情绪；
若驾驶员的面部表情为明显表情时，警示驾驶员安全行驶、勿开斗气车，当驾驶员处于愤怒状态达到一定时间后减速停车；
e、当驾驶员的面部表情为疲劳状态：
若驾驶员的面部表情为轻度表情时，打开车内灯光，自动鸣笛5秒给驾驶员提神；
若驾驶员的面部表情为明显表情时，打开双闪以警示其他驾驶员注意，自动搜索距离最近的服务区或停车地点。
所述驾驶员面部表情的自动定位和识别系统工作步骤为：
首先驾驶员图像采集模块实时采集驾驶员的面部图像；
然后距离感知模块定时工作，在一个周期内计算分析驾驶员面部中心与摄像头之间的角度和位置关系，确定驾驶员图像采集模块的工作范围；
接着自动对正模块根据计算出的角度和位置关系从三个自由度上调整驾驶员图像采集模块与驾驶员的相对位置，保证驾驶员面部中心在驾驶员图像采集模块的工作范围内；
接着关闭距离感知模块和自动对正模块直至下个工作周期，而驾驶员面部识别模块实时工作，根据驾驶员图像采集模块采集的信息计算分析驾驶员的面部表情并将驾驶员的面部表情分为轻度表情和明显表情；
最后警示模块根据驾驶员的面部表情的类型和表情的清晰程度不同，分成不同的模式分别对驾驶员做出相应的提醒与警示。
本发明通过观测驾驶员面部表情来提醒和警示驾驶员防止交通事故的发生。通过自动对正驾驶员面部中心的方法来调整驾驶员图像采集模块的位置，保证驾驶员的面部在图像的中心区域。同时为了防止驾驶员摇头、移动导致无法采集驾驶员面部的情况，采用周期性采集驾驶员的面部表情。对于驾驶员的面部表情，本发明能够识别出七种不同的表情，并识别出驾驶员每种表情的明显程度。根据驾驶员的面部表情和表情的明显程度情况结合车联网的信息对驾驶员做出警示和提醒。本发明整体上有较强的创新性。
技术特征：
1.一种驾驶员面部表情的自动定位和识别系统，其特征在于，包括驾驶员图像采集模块(1)、距离感知模块、自动对正模块(2)、驾驶员面部识别模块、警示模块；
所述驾驶员图像采集模块(1)包括摄像头(11)、夹具(13)和移动平台(15)，用于在实验室和实车环境下的驾驶员面部图像采集，摄像头(11)固定在夹具(13)上，夹具(13)与移动平台(15)连接，可安装在车辆驾驶员和实验室操作台上；跟据车型的不同和实验室驾驶模拟器的空间大小确定驾驶员图像采集模块的安装位置，保证在不同环境下均可以正常工作；
所述距离感知模块根据驾驶员图像采集模块采集的驾驶员面部表情，采用改进后的积分投影算法定位出驾驶员眼睛、鼻子、嘴巴和耳朵的位置，从而确定摄像头与驾驶员面部中心的距离与角度；
所述自动对正模块(2)包括y轴水平移动机构(21)、y轴旋转机构(22)、z轴旋转机构(23)；y轴水平移动机构(21)、y轴旋转机构(22)、z轴旋转机构(23)均由步进电机(2x1，x＝1,2,3)和减速机构构成；自动对正模块(2)根据距离感知模块计算出的驾驶员图像采集模块(1)与驾驶员面部中心的距离与角度，在三个自由度上控制步进电机(2x1)，改变驾驶员图像采集模块(1)的位置，使驾驶员的鼻子区域在摄像头中心区域，起到与驾驶员面部对正的效果，保证驾驶员图像采集模块可以准确的采集驾驶员面部信息；
所述驾驶员面部识别模块用于处理驾驶员的面部图像，采用k近邻法的算法将驾驶员的面部特征分类，识别出驾驶员的面部表情，并将驾驶员正常操控车辆时的表情定义为正常；驾驶员面部识别模块实时识别出驾驶员的面部表情，并根据驾驶员面部表情显露出表情的清晰程度不同，将驾驶员的面部表情分成轻度表情和明显表情；
所述警示模块在驾驶员面部识别模块识别出驾驶员面部的表情时，根据驾驶员的面部表情的类型和表情的清晰程度不同，分成不同的模式分别对驾驶员做出相应的提醒与警示，采用多种应对措施提醒驾驶员行车安全。
2.根据权利要求1所述的一种驾驶员面部表情的自动定位和识别系统，其特征在于，所述驾驶员图像采集模块的摄像头(11)采用单目广角摄像头，在摄像头(11)与夹具(13)之间设有转向销轴(12)；转向销轴(12)与y轴旋转机构通过与y轴旋转锥齿轮(215)啮合，具体由y轴旋转步进电机(211)通过y轴减速齿轮(212、213、214)、y轴旋转锥齿轮(215)调整y轴转角；z轴旋转机构与夹具(13)由z轴旋转锥齿轮啮合齿轮(225)连接，具体由z轴旋转步进电机(221)通过z轴减速机构(222、223、224)、z轴旋转锥齿轮(225)调整夹具的z轴转角；夹具(13)由水平轴承(14)连接移动平台(15)；移动平台可直接放置在实验室驾驶模拟器实验台上，也可以在底部加装吸盘，由吸盘将驾驶员图像采集模块固定在实车的挡风玻璃上，并对准驾驶室；y轴水平移动机构通过y轴水平移动斜齿圆柱齿轮(235)与移动平台(15)连接，具体由y轴水平移动步进电机(231)通过y轴水平移动减速机构(232、233、234)、y轴水平移动斜齿圆柱齿轮(235)调整移动平台的y轴水平位置。
3.根据权利要求1所述的一种驾驶员面部表情的自动定位和识别系统，其特征在于，所述驾驶员图像采集模块具有三个自由度，其中摄像头具有y轴一个方向的旋转自由度，夹具在移动平台上具有y轴方向横向平移和z轴方向的旋转自由度；自动对正模块的三个步进电机和减速机构分别对应控制驾驶员图像采集模块的一个自由度，并且每个方向的自由度可以单独调整，相互独立；
三个自由度的调整阈值可根据实验室驾驶实验台空间大小和不同车辆的空间大小来确定，并且安装的位置也会导致三个自由度行程加大，故三个自由度的调整阈值的计算方法如下：
t＝b+d
其中：t为各个自由度的调整阈值，b为各个自由度的基础行程，d为各个自由度的修正偏差；
y轴的旋转自由度的基础行程为80°，z轴的旋转自由度行程上限为0°，y轴水平移动自由度行程上限为100mm；
d＝λ×δ+d×μ
δ为驾驶员图像采集模块中心与理论安装中心位置的距离，λ为安装位置偏差系数；d车辆的宽度或实验室驾驶员平台宽度，μ为空间大小系数，空间越大μ越大。
4.根据权利要求1所述的一种驾驶员面部表情的自动定位和识别系统，其特征在于，所述自动对正模块(2)的减速机构包括太阳轮(2x2，x＝1，2，3)、四个行星齿轮(2x3)、行星架(2x4)，太阳轮(2x2)通过花键与步进电机(2x1)连接，行星架(2x4)连接四个行星齿轮(2x3)，行星架通过花键连接锥齿轮或者斜齿轮(2x5)；
动力从太阳轮(2x2)输入，通过四个行星齿轮(2x3)传递给行星架(2x4)，再传递给锥齿轮或者斜齿轮(2x5)输出。
5.根据权利要求1所述的一种驾驶员面部表情的自动定位和识别系统，其特征在于，所述距离感知模块识别驾驶员面部图像，通过驾驶员面部的几何特征来定位角度与位置，具体是依靠驾驶员的眼睛与嘴巴形成的倒三角特征计算确定驾驶员眼睛与鼻子的位置；然后通过空间坐标的变换确定驾驶员与摄像头的角度和位置信息；
经过自动对正模块三个自由度的调整使摄像头正对着驾驶员的鼻子以保证驾驶员面部在图像正中央范围内；距离感知模块确定驾驶员鼻子在摄像头拍摄图像中的位置坐标，记录3次的坐标位置(x1,y1)(x2,y2)(x3,y3)，根据三点坐标计算过这三点的圆方程为：
x2+y2+dx+ey+f＝0
根据经过的三点坐标确定圆方程的系数d、e、f；自动对正模块只需要保证驾驶员的鼻子在圆方程的范围内即对正完成；若所取三点位置过近，该圆方程的半径小于50mm，则以半径为50mm的同心圆为实际判定范围；
当驾驶员的面部中心在判定范围内，自动对正模块不需要调整驾驶员图像采集模块的位置；当驾驶员的面部中心超出判定范围内，自动对正模块从三个自由度上调整驾驶员图像采集模块的位置至判定范围中心。
6.根据权利要求1所述的一种驾驶员面部表情的自动定位和识别系统，其特征在于，所述距离感知模块通过处理驾驶员的面部图像的灰度值，使驾驶员眼睛、鼻子和嘴巴的特征区域的灰度值相近，以面积微元为最小单位，在二维平面内采用积分与微分投影结合的算法计算出同一灰度值区域的中心位置二维坐标(x,y)来定位驾驶员面部表情中特征区域：眼睛、鼻子、嘴巴和耳朵的中心位置，公式如下：
δσ＝f(x+δx,y+δy)-f(x,y)
式中，
根据计算出的驾驶员眼睛、鼻子、嘴巴和耳朵的中心位置，确定出驾驶员面部中心与驾驶员面部识别模块之间的距离。
7.根据权利要求1所述的一种驾驶员面部表情的自动定位和识别系统，其特征在于，所述驾驶员面部识别模块识别驾驶员面部表情的步骤如下：
a、当距离感知模块工作时，直接获取距离感知模块计算的特征区域的中心位置；针对区域位置进行特征提取；
b、当距离感知模块未工作时，对驾驶员面部图像中的眼睛、鼻子、嘴巴和耳朵四个区域进行特征提取：采用旋转不变相位量化和改进的局部二值模式的算法；
c、采用k近邻法的算法将提取出的面部特征区域的结果进行分类，取k＝7，优化算法对特征区域分类的准确性；
d、根据特征区域分类结果确定驾驶员面部表情的类型和面部表情的明显程度；
所述驾驶员的表情，包括正常、大笑、接电话、沮丧、愤怒、伤心、疲劳7种表情；
当驾驶原的表情不是正常时，同时确定驾驶员面部表情的明显程度；所述驾驶员面部表情的明显程度包括轻度表情和明显表情。
8.根据权利要求1所述的一种驾驶员面部表情的自动定位和识别系统，其特征在于，所述驾驶员面部识别模块实时识别驾驶员的面部表情，根据之前识别的驾驶员面部表情的结果确定面部识别刷新率，随着驾驶员的表情明显程度加快面部识别速率；
所述驾驶员面部识别模块的实时刷新率为：
当驾驶员的面部表情为正常时面部识别模块每5秒识别一次；
当驾驶员的面部表情为非正常时面部识别模块提高面部识别刷新率：面部表情为轻度表情时，面部识别模块每2秒识别一次；面部表情为明显表情时，面部识别模块每0.5秒识别一次。
9.根据权利要求1所述的一种驾驶员面部表情的自动定位和识别系统，其特征在于，所述警示模块根据驾驶员的面部表情做出不同的提醒与警示，具体分类如下：
a、当驾驶员的面部表情为正常、大笑状态时：对驾驶员的行为不做任何提醒与警示；
b、当驾驶员在接电话状态时：语音提示驾驶员注意行车规范，并向驾驶员警示根据交通法接打电话扣2分，提醒驾驶员停止接打电话或者减速靠边停车后再接打电话；
c、当驾驶员的面部表情为沮丧、伤心状态：
若驾驶员的面部表情为轻度表情时，播放舒缓的音乐；
若驾驶员的面部表情为明显表情时，自动打开导航，实时搜索附近的医院和警察局和显示周边实时路况信息，并可以一键导航目的地；
d、当驾驶员的面部表情为愤怒状态：
若驾驶员的面部表情为轻度表情时，自动打开空调制冷缓解驾驶员冲动的情绪；
若驾驶员的面部表情为明显表情时，警示驾驶员安全行驶、勿开斗气车，当驾驶员处于愤怒状态达到一定时间后减速停车；
e、当驾驶员的面部表情为疲劳状态：
若驾驶员的面部表情为轻度表情时，打开车内灯光，自动鸣笛5秒给驾驶员提神；
若驾驶员的面部表情为明显表情时，打开双闪以警示其他驾驶员注意，自动搜索距离最近的服务区或停车地点。
10.根据权利要求1所述的一种驾驶员面部表情的自动定位和识别系统，其特征在于，所述系统工作步骤为：
首先驾驶员图像采集模块实时采集驾驶员的面部图像；
然后距离感知模块定时工作，在一个周期内计算分析驾驶员面部中心与摄像头之间的角度和位置关系，确定驾驶员图像采集模块的工作范围；
接着自动对正模块根据计算出的角度和位置关系从三个自由度上调整驾驶员图像采集模块与驾驶员的相对位置，保证驾驶员面部中心在驾驶员图像采集模块的工作范围内；
接着关闭距离感知模块和自动对正模块直至下个工作周期，而驾驶员面部识别模块实时工作，根据驾驶员图像采集模块采集的信息计算分析驾驶员的面部表情并将驾驶员的面部表情分为轻度表情和明显表情；
最后警示模块根据驾驶员的面部表情的类型和表情的清晰程度不同，分成不同的模式分别对驾驶员做出相应的提醒与警示。
技术总结
本发明公开了一种驾驶员面部表情的自动定位和识别系统，包括驾驶员图像采集模块(1)、距离感知模块、自动对正模块(2)、驾驶员面部识别模块、警示模块；驾驶员图像采集模块跟据车型的不同和实验室驾驶模拟器的空间大小安装在合理位置处，实时采集驾驶员面部表情；距离感知模块确定摄像头与驾驶员面部中心的相对位置；自动对正模块调整驾驶员图像采集模块的位置，使驾驶员面部在图像中心区域；驾驶员面部识别模块能识别出驾驶员的7种表情状；警示模块根据驾驶员的表情不同对驾驶员做出相对的提醒与警示以保证驾驶员行程安全。
技术研发人员：郑宏宇;蒋权;沐潼;曹非凡
受保护的技术使用者：吉林大学
技术研发日：.12.03
技术公布日：.02.14
