二维线性鉴别分析和协同表示的面部识别方法

发布时间：2022-04-14所属分类：计算机职称论文浏览：1次

摘 要： 要: 针对图像特征提取方法提取单一特征不能很好地表示图像的问题，提出了二维线性鉴别分析和协同表示的面部识别方法. 该方法首先通过二维线性鉴别分析( Two-Dimensional Linear Discriminant Analysis，2DLDA) 分别对训练样本的类间散布矩阵和类内散布矩阵提取特征，之

　　要: 针对图像特征提取方法提取单一特征不能很好地表示图像的问题，提出了二维线性鉴别分析和协同表示的面部识别方法. 该方法首先通过二维线性鉴别分析( Two-Dimensional Linear Discriminant Analysis，2DLDA) 分别对训练样本的类间散布矩阵和类内散布矩阵提取特征，之后利用得到的特征重建图像，包括类间虚拟图像和类内虚拟图像. 其次，将类间虚拟图像、类内虚拟图像和原始图像利用协同表示( Collaborative Representation，CR) 算法进行得分. 最后，采用加权得分融合算法将上述得分进行融合以获得最终得分，并利用最终得分进行图像识别. 该方法不仅有效的抑制了光照和表情对面部识别的影响，同时根据获得的类间虚拟图像、类内虚拟图像与原始图像互补，有效的提高面部图像识别的性能. 实验结果表明，该方法在不同的数据库下( ORL、AR、GT) 具有较好的识别精度.

　　关 键 词: 图像识别; 二维线性鉴别分析; 协同表示; 得分融合

　　1 引 言

　　面部识别在生物特征识别技术中占有重要的位置，同时，在实际应用中面部识别技术广泛地应用于交通安全、快捷支付和智能管理等领域内[1，2]. 然而，面部识别技术仍存在诸多挑战，如: 不同光照、不同角度、变化表情和有无遮挡等. 因此，如何更好的提取面部图像特征来表示图像成为研究人员研究的热点.

　　Liu 等人提出了基于几何特征图像识别方法[3]，该方法提取面部关键器官的位置信息进行识别，如人的眼睛、鼻子等. Gross 等人提出基于表象( Appearance-based) 的人脸识别方法[4]，该方法将面部图像看作一个整体并利用面部的全部信息进行面部识别. 主成分分析( Principal Component Analysis，PCA) 是基于表象的面部识别方法之一[5]，PCA 也称为 K-L 变换，它的主要思想是将面部图像矩阵转换为一维向量.然而，PCA 方法可能导致面部图像部分关键特性丢失，并且算法复杂度较高. 因此 Yang 等人提出了二维主成分分析方法 ( Two-Dimensional Principal Component Analysis， 2DPCA) [6]. 2DPCA 方法不需要将图像矩阵转换为一维向量，该方法具有计算简便的显著特点，其计算代价远小于 PCA 方法. 由于，通过 2DPCA 方法构建协方差矩阵提取的单一特征不能对所得图像都有较好的鲁棒性. 因此，本文将通过二维线性鉴别分析方法提取两类特征，将在第 2. 1 部分详细介绍.

　　此外，近年来提出的稀疏表示( Sparse Representation) 方法[7]对于面部识别非常有效. 该方法实现的主要思想是假设给定一个测试样本可以由所有类的全体训练样本线性组合来近似表示，进而获取稀疏表示系数，然后计算给定的测试样本和所有类的训练样本之间的残差，即残差最小的类别是该测试样本的类别. Wright 等人提出测试样本可以由其同类训练样本线性表示，稀疏表示方法也称为稀疏表示分类( Sparse Representation based Classification，SRC) [8]. SRC 方法通过 l1 范数求得的稀疏解具有较好的稀疏性，然而，该方法具有较高的计算代价. 为了解决上述这个问题，Zhang 等人通过 l2 范数求稀疏解，l2 范数较 l1 范数求得的稀疏解具有较弱的稀疏性，但在求解时可以大大降低其计算代价，此方法称为协同表示 分 类 ( Collaborative Representation based Classification， CRC) [9]. 本文将利用 CRC 作为分类器，将在第 2. 2 节详细介绍.

　　Xu 等人通常以得分层融合方法、特征层融合方法和决策层融合方法对两种特征进行融合[10-13]. 特征层融合方法是将全部生物特征看做一个样本进行识别，然而不同生物特征存在较大的差异影响其识别性能. 决策层融合方法是最简单的一种融合方法，但是它的融合效果略差于其它两种融合方法.得分层融合方法[14，15]是将每个特征得出的各自得分( 也称为距离) 进行融合. 因此，本文采用一种加权得分融合机制将类间虚拟图像、类内虚拟图像和原始图像[16-18] 分别在 CRC 上的获得得分并进行融合，将在第 2. 3 节详细介绍. 为了验证本文方法的识别性能，分别在 ORL、AR、GT 不同数据库上进行实验.

　　本文的主要贡献如下:

　　1) 本文首次提出对二维线性鉴别分析的类间散布矩阵和类内散布矩阵进行特征提取，进而得到两类特征，即类间特征和类内特征. 有效缓解了单一特征不能很好地表示图像的问题.

　　2) 本文所提出的类间特征和类内特征与原始图像是互补的.

　　3) 本文采用新颖的加权得分融合机制将原始图像和 2) 中特征进行融合.

　　本文其余组织如下: 第 2 部分详细介绍了提出方法; 第 3 部分展示了提出方法的性能; 第 4 部分提供了实验结果; 第 5 部分给出了本文的结论.

　　2 提出的方法

　　本章涉及的基本符号如表 1 所示.

　　2. 1 类间虚拟图像和类内虚拟图像

　　本文通过二维线性鉴别分析构建类间散布矩阵和类内散布矩阵，并且分别进行特征提取. 定义类间散布矩阵 Sb 和类内散布矩阵 Sw . 分别从 Sb 中求解最优投影向量组 u 和 Sw 中求解最优投影向量组 v，从而将所有面部图像分别对 u 和 v 作投影得到各自的特征向量，具体过程如下:

　　相关知识推荐：人脸识别有关论文投稿期刊推荐

　　令样本类别有 M 个，第 j 类样本有 N 个图像: Aj 1，Aj 2， …，AjN，每幅图像均为 m × n 的矩阵. 定义准则函数 J1 ( x) = uT Sb u，当 uT Sb u 取最大时，图像矩阵对向量组 u 作投影获得 特征向量的类别间分散程度最优. uT Sb u最大取值问题可以转化为求解 Sb 中最大 g 个特征值所对应的特征向量问题.

　　2. 2 协同表示分类

　　针对于面部识别中小样本问题，稀疏表示方法是解决这个问题最佳方法之一. 稀疏表示方法核心思想是通过给定测试样本 y 由所有训练样本线性组合表示，并且求出稀疏系数，利用每类训练样本和稀疏系数重构后与所有测试样本进行分类. 稀疏表示方法具体过程如下:

　　假设矩阵 Aj 表示第 j 类所有训练样本，样本类别个数为 M. 记 A =[A1，A2，…，AM]，A 表示全体训练样本组成矩阵. 给定一个测试样本 y 可用所有训练样本线性组合表示，即 Aw = y

　　2. 3 得分融合与图像分类

　　根据本文前面介绍的理论，得分融合方法首先独立对待各生物特征，得出各自识别结果后再进行融合，得分融合方法比其它两类融合方法往往能取得较优鉴别性能.

　　3 算法的步骤及性能展示

　　3. 1 算法步骤

　　根据第 2 部分的分析和推导，我们以 ORL 数据集为例，阐述本文方法的主要操作步骤.

　　步骤 1. 将 ORL 数据库分为训练样本集和测试样本集，如: 每个类别选取前 2-5 张作为训练样本，其余作为测试样本. 并将训练样本集和测试样本集的面部图像大小统一设置为 50* 50 像素.

　　步骤 2. 利用公式( 1) -公式( 3) 构造原始面部图像训练样本集的类间散布矩阵，通过特征提取方式提取相应特征向量，并且利用公式( 4) 将训练样本集和测试样本集分别向提取出来的特征向量作投影，得到对应训练样本的类间虚拟图像和测试样本的类间虚拟图像.

　　步骤3. 利用公式( 2) 、公式( 5) 构造原始面部图像训练样本集的类内散布矩阵，通过特征提取方式提取与之对应的特征向量，并利用公式( 6) 将训练样本集和测试样本集分别向提取的特征向量作投影，获得对应训练样本的类内虚拟图像和测试样本的类内虚拟图像.

　　步骤 4. 利用稀疏解具体表现公式 w = ( AT A + γI) - 1 AT y 和公式( 10) 分别获取原始面部图像中测试样本 y 的得分、类间虚拟图像中测试样本 y 的得分和类内虚拟图像中测试样本 y 的得分，其中 γ 表示一个很小的常量，I 表示为单位矩阵.

　　步骤 5. 分别获取权重系数 q1、q2 和 q3，并通过公式( 11) 融合原始图像的得分、类间虚拟图像的得分和类内虚拟图像的得分.

　　步骤 6. 通过公式( 14) 将融合后最终的得分进行面部图像识别.

　　3. 2 算法性能展示

　　为了让读者更直观的了解本文原理，通过图 1 展示了本文提出的类间虚拟图像和类内虚拟图像示意图. 本文通过 2DLDA 来提取图像的类间特征和类内特征，通过特征提取的方式重构类间虚拟图像和类内虚拟图像，类间虚拟图像和类内虚拟图像与原始图像是互补的. 在图 1 中，第 1 行展示了原始图像，第 2 行展示了类间虚拟图像，第 3 行展示了类内虚拟图像.

　　通过图 2 展示了选取不同特征向量个数下对应的识别错误率的直观图. 从图 2 中可以看出，本文提出的方法在选取不同特征向量个数下，识别率的总体趋势是趋于平稳的，具有稳定性. 当特征向量个数选为 15 时，本文方法面部识别错误率最低.

　　通过图 3 展示了不同训练样本个数下对应的识别错误率. 从图 3 中可以看出，本文提出的方法有着较低的错误识别率，随着每类训练样本个数的增加，其面部识别错误率越来越低.

　　4 实验结果

　　为了进一步测试本文提出方法的性能，在 ORL、AR 及 GT 数据库上分别设计了实验. 我们设计了协同表示分类方法、快速迭代算法( Fast Iterative Shrinkage Thresholding Algorithm，FISTA) 、同伦法( Homotopy Method) 和增广拉格朗日乘子法( Primal Augmented Lagrange Multiplier，PALM ) 来分别作为分类算法.

　　本章采用识别错误率来比较算法之间性能的好坏，识别错误率越低，算法的性能越好. 表 2-表 4 中，“本文方法”表示在 ORL、AR 和 GT 面部数据库上的识别精度，具体为将原始图像、类间虚拟图像和类内虚拟图像分别利用 CRC 进行得分，利用文中公式( 11) 所示的加权融合机制进行得分融合，并利用最终得分进行面部识别.“类间虚拟图像/类内虚拟图像/原始图像 + CRC /FISTA /HOMOTOPY /PALM”分别表示在不同数据集上类间虚拟图像/类内虚拟图像/原始图像在分类算法为 CRC /FISTA /HOMOTOPY /PALM 上的识别结果; 从表 2-表 4 中可以看出，本文提出的方法对于面部图像识别具有较低的识别错误率.

　　4. 1 在 ORL 面部数据上的实验

　　本部分将在 ORL 人脸数据库进行实验. ORL 人脸数据库包含了 40 个人，每个人 10 幅图像，共 400 幅人脸图像. 每幅人脸图像均在不同的光照、不同的表情变化、不同的角度条件下获得. 在 ORL 人脸数据库中图像包括表情的变化( 笑或不笑，睁眼或闭眼) 及面部细节. 每幅人脸图像分辨率均为 50 像素 × 50 像素，每幅人脸图像的格式为'. bmp'. 图 4 显示 ORL 人脸数据库的部分图像.

　　表 2 展示了在 ORL 数据库的识别错误率，每个受试者前 2-5 幅图像作为训练样本，其余图像作为测试样本. 从表2中可以看出，本文方法在 ORL 数据库上具有较低的错误率.例如: 当每类训练样本个数为 2-5 时，并且分类器选为 CRC 时，本文方法的识别错误率为 14. 06% ，12. 14% ，8. 33% ， 8. 00% . 然而，原始图像利用 CRC 进行分类时，它的识别错误率为 16. 25% ，14. 64% ，10. 83% ，11. 00% . 由表 2 可知，当不同训练样本个数由 2 变化到 5 时，本文提出的方法也比文献[18]方法( 2DPCA + Original images + CRC) 、文献[17]方法 ( FFT + Original images + CRC) 和文献[15]中的一般融合方法( Gabor + L1LS) 效果要好.

　　4. 2 在 AR 面部数据库上的实验

　　本部分将在 AR 人脸数据库进行实验. AR 人脸数据库中包含了 120 个人，每个人 26 幅图像，共 3120 幅人脸图像. 图像在不同光照、不同面部表情、不同角度和有无遮挡物( 戴眼镜或围巾) 条件下获得. 每幅人脸图像的分辨率均为 50 像素 × 40 像素，每幅人脸图像的格式均为'. tif'. 图 5 显示 AR 人脸数据库的部分图像.

　　每个受试者前 9-12 幅图像作为训练样本，其余图像作为测试样本. 例如: 分类器选为 CRC 时，本文提出的方法错误率为 30. 74% ，32. 76% ，23. 11% ，24. 88% . 然而，使用 FISTA 对原始图像进行分类并且每类训练样本个数为 9-12 时，它的识别错误率为 44. 95% ，47. 71% ，34. 33% ，35. 89% . 由表 3 可知，当每个训练样本个数由 9 变化到 12 时，本文提出的方法在 AR 数据库上的识别错误率低于原始图像使用 FISTA 的识别错误率.

　　4. 3 在 GT 面部数据库上的实验

　　本部分将在 GT 人脸数据库进行实验. GT 人脸数据库中包含了 50 个人，每个人 15 幅彩色图像，共 750 幅图像. 在 GT 人脸数据库中，每个人的面部细节和面部表情都存在着不同程度的变化. 将每幅人脸图像的压缩为 50 像素 × 50 像素，实验中将这些彩色图像转化为灰度图像. 每幅人脸图像的格式均为'. jpg'. 图 6 显示 GT 人脸数据库的部分图像.

　　在 GT 数据库中，每个受试者的前 9-11 幅图像作为训练样本，其余图像作为测试样本. 通过表 4 的实验结果可知，当每类训练样本个数为 9-11 时并且分类器选为 CRC 时，本文提出的面部识别方法错误率为 28. 67% 、26. 80% 、24. 00% . 文献[17]方法的识别错误率为 31. 67% 、32. 00% 、27. 50% ，而文献[18]方法的识别错误率为 32. 67% 、29. 60% 、29. 50% .由表 4 可知，本文提出的方法与其他经典方法相比具有较低的识别错误率.

　　5 结束语

　　本文提出了二维线性鉴别分析和协同表示的面部识别方法. 该方法在不同人脸数据库中可以获得较好的识别性能. 在实际应用中，该方法具有有效性和可行性，不需要手动调整参数并且易于实现. 本文方法可以获取类间虚拟图像和类内虚拟图像来表示原始图像，不仅保留了图像关键特征信息，并且在面部识别方面与原始图像具有一定的互补性，降低了图像识别错误率. 通过实验表明，在面部识别中将类间虚拟图像、类内虚拟图像和原始图像的分类结果进行融合可以取得较好的识别效果.——论文作者：林克正，邓 旭，张玉伦