基于面部识别的管制员疲劳风险评估关键技术研究

发布时间：2022-04-18所属分类：计算机职称论文浏览：1次

摘 要： 摘 要 人为因素在民航事故发生原因中所占比例逐渐增加，因此，高效检测管制员的身份和疲劳状况，对保证飞行正常及安全风险的评估具有重要的意义。基于面部识别技术，采 用 OpenCV 开 发 平台，综合图象二值化和模板匹配技术，对管制员的身份及疲劳状况进行识别，取得比

　　摘 要 人为因素在民航事故发生原因中所占比例逐渐增加，因此，高效检测管制员的身份和疲劳状况，对保证飞行正常及安全风险的评估具有重要的意义。基于面部识别技术，采 用 OpenCV 开 发 平台，综合图象二值化和模板匹配技术，对管制员的身份及疲劳状况进行识别，取得比较实际的检测效果，疲劳检测成功率达80%，对管制员这类工作岗位的风险管理具有一定的参考价值。

　　关键词 管制员疲劳检测系统;眼部检测;人脸识别;OpenCV

　　0 引 言

　　管制员主要的工作是通过雷达显示的实时信息，密切监控每1架飞机的飞行动态，通过无线电通信设备向飞行员发布各种指令，包括飞行高度、速度和航向，等等。最繁忙的时候，1个管制员需同时管制十几架甚至更多的飞机，而且必须注意到每1个细节，任何的疏漏都可能成为安全隐患。民航事故统计表明：在人、机械故障和天气因素3类主要造成飞行事故的原因中，人 的 因 素 占 到80%。其中，因管制员疲劳引发的事故和 事 故 征候更是占据了相当的比例。

　　究其原因，管制员在工作的同时，不可避免的会产生包 括 肢 体、视 力、听 力、心 理 等 疲 劳 状 况。这些疲劳状况的产生会使管制员的兴奋程度降低，注意力很难集中;同时管制员的情境意识、应变能力也会下降，从而埋下安全隐患。所以，检测管制员的疲劳状况，对保证飞行正常及安全风险的评估具有重要的意义。结合实际情况和需求，笔者研发了管制员疲劳检测系统。

　　1 管制员疲劳风险评估原理及结构

　　疲劳是多年来一直倍受关 注 的 问 题。目 前，正确进行疲劳分类、充分认识疲劳发生机理和疲劳对工效的影响尚有一定困难。但已知疲劳是涉及效率和技能损害或丧失的1组现象[1]。造成疲劳的原因有多种，例如因长时间工作造成睡眠不足、中断或剥夺，其中有多种任务负荷，包括主观疲倦感、注意力短时间丧失、可能有心理运动能力降低。可以认为疲劳是指工作过程中人体工作能力和绩效下降、造成错误和事故发生概率增加的现象。

　　疲劳的表现形式有很多，目前，针对疲劳的不同症状，如头部和眼睛运动、面部表情、皮肤电阻率的变化，国外研发了多种检测设备。其中，澳大利亚研发 的 操 作 觉 醒 仪(OptalertR)采 用 红外 眼动记录的方法，测量眨眼过程中眼睑闭合与睁开的速率以及闭眼持续时间进而评估嗜睡状态和疲劳。该系统的有效性在汽车驾驶员的疲劳检测中得到证实[2]。笔者所提到的管制员疲劳检测系统利用类似 OptalertR 的 原 理，检测眼睑睁闭速率及闭合时间，同时辅以嘴巴的张开频率来综合判别管制员的疲劳状况。相比较其他生物识别技术而言，人脸识别技术是非接触的，非强制的，更加便捷、人性化。

　　管制员疲劳测试的系统结构包括了管制员的身份识别登录、疲劳检测、安全风险评估等3方面的内容，见图1。

　　笔者在文中主要介绍身份识别登录和疲劳检测2部分，其中重要阐述疲劳检测中的二值化方法和模板匹配等关键技术。

　　系统采用 OpenCV 开发平台，应用了其中的人脸识别函数库。OpenCV 是计算机视觉领域主流的开发平台。也是目前最完善的开源的计算机视觉库。它采 用 C/C+ + 编 写，包 括函 数 有 300多个。涉及的功能有：图像处理、图像变换、跟踪、摄像机标定、三维视觉、机器学习、人脸识别等;支持的机器学习算法包括 Mahalanobis、K 均值、正态/朴素贝叶斯分类器、决策树、Boosting、随机森林、人脸检测/Haar分类器、期望最大化、K 近邻、神经网络、支 持 向 量 机。其 中 人 脸 检 测/Haar分类器是常用的人脸识别算法[3]。

　　OpenCV 提 供 已经 训 练 好 的 Haar分 类 器，即包括训练方法、识别方法。甚至还包括了训练好的物体检测器[4]。这些算法为管制员疲劳检测系统提供了技术上的基础保障。

　　2 管制员疲劳识别的关键算法

　　2.1 管制员的人脸识别

　　管制员疲劳检测系统的人脸识别应用了基于SIFT 特征 点的 图 像 匹 配 算 法。DavidG.Lowe在1999年 提 出了 尺 度 不 变 的 特 征(scale-invari-antfeature)[5]，用来进行物体的识别和图像匹配等，并于2004年进行了更深入的发展和进一步的完善。

　　算法的主要思想是在尺度空间寻找极值点而不是平面上的极值点，因此需要过滤掉平面上的极值点，找出稳定的特征点。最后在每个稳定的特征点周围提取图像的局部特性，形成局部描述并将其应用在以后的匹配中[6]。该方法不但对于旋转、尺度缩放、亮度变化保持不变性，而且对视角变化、仿射变换、噪声也保持一定程度的稳定性。

　　图2、3所示是通过上述方法进行管制员身份识别登录的2个关键过程示意图。

　　2.2 二值化

　　1幅图像包括目标物体、背景还有噪声，要想从多值的数字图像中直接提取出目标物体，最常用的方法就是设定1个阈值T，用T 将图像的数据分成2部分：大 于 T 的 像 素群 和 小 于 T 的 像 素群。这是研究灰度变换的最特殊的方法，称为图像的二值化(binarization)[7]。简言之，就是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的只有黑和白的视觉效果。

　　相关知识推荐：可以拒绝审稿人的论文修改意见吗

　　二值化有2种方法：全局二值化和局 部 自 适应二值化。全局二值化是指在处理整个图像过程中仅设置1个阈值T，显然，在处理图像细节方面存在很大缺陷。局部自适应二值化是按照一定的规则将整幅图 像 划 分 为 N 个 窗 口，对这 N 个 窗口中的每1个窗口进行二值 化 处 理[8]。而 且，阈值获取的方法更加合理，是通过对该窗口像素的平均值E，像素之间的方差P，像素之间的平方根Q 等各种局部特征，设定1个参数方程进行阈值的计算，例如，T=mE+nP+tQ，式中：m，n，t是自由参数[9]。这样得出来的二值化图像就更能表现出图像中的细节。

　　管制员疲劳检测系统采用局部自适应二值化方法对摄像头采集的图像进行处理，处理结果见图4。二值化后的基本算法步骤如下。1)利用 OpenCV 中的算法确定出眼部和嘴部的矩形框范围。

　　2)获取A，B，C 点坐标分别为A(x1，y1)，B(x2，y2)，C(x3，y3);即可求出包含眼球的矩形框区域的长AC=x3-x1，宽AB=y2-y1。3)根据AC/AB 的值大小确定眼睛的睁闭。(比值越大，眼睛闭眼的概率越大)同时，遍历包含眼球的矩形框内的点 并 累 计黑点的个数，黑 色 像 素 的 个 数 也 是 睁 眼 闭 眼 的1个重要参考指数。睁眼时，矩形框内的黑点个数明显要多于闭眼时;而且，2种状态下黑点的分布存在很大区别。类似的方法也可以对嘴的张合进行检测。实验证明，如果仅用这种方法来判断管制员的疲劳，效果较差。原因是不同管制员的眼形及眼球的凹陷程度有一定的区别，眼球凹陷的管制员在二值化时会造成局部黑点个数剧增;而且这种方法对光线的要求比较苛刻，不同的光照强度下，需要设定不同的阈值才能识别准确，与实际不符。因此，介绍另1种辅助方法-模板匹配法。2种方法的结合，可以提高管制员疲劳检测系统的准确性。2.3 模板匹配当对象物以图像的形式表现时，根据 模 板 图案与该图像的各部分的相似度判断其是否存在，并求得对象物在图像中位置的操作叫模板匹配[10]。基本原理如下。采用以下的算式来衡量模板T(m，n)与所覆盖的子图Sij(i，j)的 关 系，已知 原 始 图 像 S(W，H)，见图5。

　　3 结束语

　　由于人脸的侧偏，光线的明暗以及人 脸 距 离摄像头的距离都会给识别带来不同的影响，管制员疲劳检测系统结合了上面二值化和模板匹配两种方法对管制员的眼睛和嘴巴进行识别，减小了识别误差。经实验统计，管制员登陆时身份识别正确率达百分之百，管制员工作时疲劳检测成功率达80%。图6为 管制员疲劳检测系统的实际测试效果展示(当眼睛闭合或嘴巴张开时，系统对应的眼睛状态和嘴巴状态的输出框显示矩形条)。

　　但是，该方案仍然存在一定问题，如距离和光线仍然是限制系统识别准确度进一步提高的关键因素;另外，当1台主机控制多个客户端时，系统占用较大资源。这些问题将在以后工作中进一步改进完善。——论文作者：孙瑞山 史增鹏 王俊虎

　　参考文献

　　[1] 詹 皓，陈勇胜.飞行疲劳研究[M].北京：国防工业出版社，2011.图6 管制员疲劳测试结果Fig.6 Theresultoftrafficcontroller’stest

　　[2] 张明恒，王荣本，郭 烈.基于灰度投影的驾驶员图像眼睛定位[J].交通与计算机，2006，24(4)：76-79.

　　[3] 刘瑞祯，于仕琪.OpenCV 教程[M].北京：北京航空航天大学出版社，2007.

　　[4] 吴业福，李 波，师 宇，等.人脸检测与实时追踪在机动车道路考试系统中的应用研究[J].交通信息与安全，2013，31(1)：113-116.

　　[5] LoweDG.Distinctiveimagefeaturesfromscalein-variantkeypoints[J].InternationalJournalofCom-puterVision，2004，60(2)：91-100.

　　[6] 林天威.基于视频流的人脸识别系统研究[D].哈尔滨：哈尔滨工程大学，2009.

　　[7] 李 英，赖剑 煌，黄琼 燕，等.非均匀光照下的人脸表情多状态检测与分类[J].中山大学学报，2006，45(5)：17-21.

　　[8] 沈永增，刘小 磊.眼部疲劳状态检测算法的研究与实现[J].计算机应用与软件，2011，28(3)：106-109.

　　[9] 伍文峰，王虎 帮.基于模板匹配的目标识别算法的设计与实现[J].计算机应用，2006，21：133-134.

　　[10] 王洪志.基于静态图像的人脸检测与识别系统设计与实现[D].成都：电子科技大学，2010.