发布时间：2018-09-15所属分类：科技论文浏览：1次
摘 要： 摘要：大规模的模拟和传感器设备阵列与现今日益庞大的计算资源相结合，产生了海量的复杂高维数据集，这些数据集应用在众多领域的研究中。与此同时，计算机视觉与模式识别领域的研究者们取得了许多重大突破，尤其是卷积神经网络近年来在该领域取得的成就尤为
摘要：大规模的模拟和传感器设备阵列与现今日益庞大的计算资源相结合，产生了海量的复杂高维数据集，这些数据集应用在众多领域的研究中。与此同时，计算机视觉与模式识别领域的研究者们取得了许多重大突破，尤其是卷积神经网络近年来在该领域取得的成就尤为突出。文章将高维数据应用于深度卷积神经网络中，通过实验与分析比对，证明高维数据应用于卷积神经网络中的可能性。
关键词：数据可视化,深度学习,卷积神经网络,计算机视觉
深度学习是机器学习领域中的一个分支，起源于人工智能领域，其起源可以追溯到1980年提出的新认知机[1]概念，而现代深度神经网络得以发展离不开向后传播算法[2]的提出，现代深度神经网络基本上都使用反向传播(BackPropagation，BP)算法进行训练。之后很长一段时间内深度神经网络训练由于BP神经网络模型带来的梯度弥散(GradientDiffusion)，直到Hinton[3]在2006年提出的逐层训练方法才重新将人们的目光转向深度神经网络。
随着近年传感器技术发展以及越来越强大越来越容易获取的计算资源，出现了许多复杂高维数据集。在这一类数据集上使用浅层机器学习模型的表现通常会变差。例如K近邻(K-NearsertNeighbor，KNN)学习是一种常用的监督学习方法，常用于分类问题，其工作机制非常简单;给定测试样本，基于某种距离度量找出训练集中与其最靠近的K个训练样本，然后基于这K个近邻的信息来进行预测。
在模式识别领域中，最近邻居法是一种用于分类和回归的非参数统计学方法。在这两种情况下，输入包含特征空间中的K个最接近的训练样本。近年来，计算机视觉领域取得许多引人注目的成果，尤其是卷积神经网络(ConvolutionalNeuralNetworks，CNNs)在分类、目标检测问题上取得了优异成绩。因此，本文通过对比K近邻模型与卷积神经网络在高维度数据集上的表现，证明卷积神经网络处理高维数据集有优异的性能。
1模型选取及构建
在机器学习的模型上，选取了具有代表性的KNN模型作为浅层机器学习模型的代表。卷积神经网络方面，构建了2个卷积神经网络的模型作为卷积神经网络对比项。
1.1ResNet50-mini
使用了基于ResNet50[4]裁剪后的迷你版作为实验的第一阶段的卷积神经网络模型，在卷积层尺度上进行相应缩小。使用残差网络随着深度增加，准确度也会随之增加。其中Conv2，Conv3，Conv4，Conv5层均是由残差块组成的一系列卷积层池化层。如表1所示，基于RestNet50层模型修改而来的缩小版的架构，我们称之为ResNet50-mini。1.26层CNN对于实验第二阶段使用了一个6层神经网络结构。网络结构如图1所示，由1层卷积层、1层池化层、4层全连接层组成。
2实验
实验主要分为两个阶段：第一阶段，对比KNN与ResNet50-mini在同一数据集以及相同划分下对分类任务的准确度。第二阶段，对比KNN与6层卷积神经网络在统一数据以及同一划分下对分类任务的准确度，来获得更具有普遍性的结论。
2.1实验阶段一
2.1.1实验数据选择与处理
实验阶段一使用的数据集为加州大学欧文(尔湾)分校(UniversityofCaliforniaIrvine，UCI)的可穿戴计算体态运动分类数据集[5]。此数据集一共有18列，165632条数据，使用4个三轴加速传感器记录了8h的活动数据，将活动分为5类(坐，坐下，站立，站起，行走)。将数据集按1∶4比例随机划分训练集以及测试集，训练集为124224条数据测试集有41409条数据。选取年龄、身高、体重、BMI指数、4个三轴传感器数据，一共16列作为特征值。可穿戴计算体态分类数据集各列数据类型如表2所示。
如图2所示，这两张的4×4大小的灰阶图片都包含着可以用来判断体态行为的所有数据。虽然通过肉眼看上去，这两张图片好像有着很大的差异，但是事实上，这两张图片所表示的数据都属于同一类体态。KNN算法在此数据集上的表现为99.54%的准确率。
2.1.2训练ResNet50-mini模型
使用ResNet50-mini模型，模型使用的优化算法为Adam算法[6]，损失函数为多类交叉熵(categoricalcrossentropy)函数。如图3所示，ResNet50-mini经过10个Epoch的训练损失和准确率的变化情况。可以直观地看到，损失下降得很快，随着损失的快速下降，训练集的准确率也在不断提升。经过1000个Epoch的训练，ResNet50-mini在测试集上的分类精度达到了99.56%。
2.2实验阶段二
2.2.1实验数据选择与处理
实验阶段二使用的数据维数较实验阶段一使用的数据更为庞大。选用的数据集为NIPS2003特征选取挑战赛中5个数据集之一的Arcene数据集[7]。Arcene数据集的任务是使用大量的质谱数据分辨目标是否患有癌症。Arcene数据集一共包含有900条数据训练集、验证集、测试集分别来自3个不同的来源。其中训练集、验证集各100条数据，测试集700条数据，但未给出标注。选取ml-benchmarks中的已标注的100条数据作为测试集。其中，每条数据有10000个特征。
如图4所示，这是Arcene数据集中一条数据展开成100×100大小矩阵所转化成的灰度图片。与实验阶段一不同的是，通过肉眼已经无法看出其中存在的模式。2.2.2训练卷积神经网络将数据集中的测试集、验证集与验证集合并，并随机划分为270条数据为训练集，30条数据为测试集。本阶段实验选取的模型为4层卷积神经网络，结构如图1所示，训练中使用的优化算法为Adam算法，损失函数为多类交叉熵(categoricalcrossentropy)函数。
如图5所示，ARCENE数据集在6层卷积神经网络上的训练情况可以看出，虽然一开始损失很大，但是随着训练的时间开始快速下降，100个Epoch训练后分类准确度达到69.99%。
2.3实验结果
在实验阶段一中，KNN在UCI可穿戴体态分类数据集上进行多分类任务准确度可以达到99.54%，而卷积神经网络ResNet50-mini在这一任务上的表现则为99.56%。阶段二中，KNN在ARCENE数据集上的表现为53.33%，而6层卷积神经网络在这一任务上可以达到69.99%的准确度。实验结果如表3所示，无论在ResNet50-mini这样深度较大的神经网络或是一个6层卷积神经网络，对高维数据集的分类任务都有着优异的表现。
3结语
经过两个阶段的实验，可以直观地看出深度卷积神经网络在提取高维数据集特征以及处理分类任务上有着优异的表现，取得了普通浅层机器学习模型难以达到的成绩。通过浅层机器学习模型来处理这一类高维数据集的分类问题是有一定难度的，通常需要消耗大量的时间来预处理数据或使用一些方法来降低维度。而卷积神经网络在关于图片视频的计算机视觉问题上拥有的优势可以运用在传统的高维数据集中[8]。实验表明，对于高维数据集，深度卷积神经网络往往有着比KNN更优异的性能。通过较短时间的训练，对于高维数据集的分类问题上能够达到较KNN更高的准确度。
[参考文献]
[1]FUKUSHIMAK.Neocognitron:aself-organizingneuralnetworkmodelforamechanismofpatternrecognitionunaffectedbyshiftinposition[J].BiologicalCybernetics，1980(4)：193-202.
[2]WERBOSP.Beyondregression:newtoolsforpredictionandanalysisinthebehavioralscience[D].Massachusetts：HarvardUniversity，1974.
[3]HINTONGE，SALAKHUTDINOVRR.Reducingthedimensionalityofdatawithneuralnetworks[J].Science，2006(5786)：504-507.
SCI SSCI AHCI