基于增强现实的武器装备维修系统关键技术研究

发布时间：2022-04-11所属分类：计算机职称论文浏览：1次

摘 要： 摘 要 为了克服武器装备在维修过程中存在的原理结构复杂，缺乏形象性指导等问题，对基于增强现实的装备辅助维修系统及其应用现状进行了研究分析。按功能的不同，将该系统划分为四个模块，并对这四个模块涉及的关键技术进行了分析和介绍，总结归纳了当前最新的研究动态

　　摘 要 为了克服武器装备在维修过程中存在的原理结构复杂，缺乏形象性指导等问题，对基于增强现实的装备辅助维修系统及其应用现状进行了研究分析。按功能的不同，将该系统划分为四个模块，并对这四个模块涉及的关键技术进行了分析和介绍，总结归纳了当前最新的研究动态和发展趋势。该系统利用增强现实技术的虚实交互特性，使武器装备的维修过程变得直观形象，可以显著提升维修效果，有很大的发展应用潜力。

　　关键词 武器装备维修 增强现实 计算机视觉虚实交互

　　引 言

　　随着现代作战环境和武器装备日益复杂，军事装备维修和维护对维护人员的要求也越来越高。但由于维修人员对新式武器装备的结构原理不够熟悉，再加上缺乏形象直观的维修辅助手段，导致部队维修保障能力受到了严重制约。然而，增强现实技术具有强大的表现力和形象性，正是解决这些问题的有效手段。

　　增强现实( Augmented Reality，AR) 技术[1]是在虚拟现实( Virtual Reality，VR) 技术上发展起来的， AR 技术是将真实场景和虚拟物体相互融合的一种手段，让人能以自然的方式与虚拟世界中的对象进行交互。AR 系统的特点是虚实空间的一致性结合以及实时交互，具体包括三维物体的注册技术、跟踪和定位技术以及显示技术等。

　　基于增强现实的武器装备维修系统将真实的维修环境与虚拟维修环境融为一体，其不仅维持了用户对真实环境的感官效果，还通过特定的设备使得用户与场景中的虚拟物体进行交互。它的整个维修过程都是在真实环境下进行的，虚拟环境主要承担维修引导、提示等功能。相比于其它维修系统，基于增强现实的装备维修系统具有更强的形象性、直观性和适时性，可以有效克服由于对武器装备原理的不了解和装备本身的复杂性所带来的维修困难问题，提高维修的质量和效果。

　　近年来，国内对增强现实的研究逐渐增多，但限于硬件的发展水平，这些成果还多停留于实验室层面。2015 年 1 月，微软推出了 Hololens 眼镜，为增强现实的研究提供了一个先进的硬件平台，再加上早几年发布的 Kinect 体感设备，掀起了增强现实研究的一个新的热潮。本文首先介绍了国内外在基于增强现实的装备维修技术上取得的成果，然后依据 Hololens 硬件平台为基础，探讨了基于增强现实的装备维修系统的设计和应用，并对其关键技术的研究现状和发展趋势进行分析和介绍。

　　1 基于增强现实的装备维修技术发展状况

　　1. 1 基于增强现实的装备维修技术在国外的发展应用

　　国外对增强现实的研究起步较早，欧美等发达国家在这一领域的发展代表了当今世界增强现实维修技术发展的最高水平。

　　20 世纪 90 年代初期[2]，增强现实技术开始于波音公司的 Tom Caudell 和他的同事提出将增强现实应用到辅助布线系统中。在他们设计的系统中，应用 S-HMD 将由简单线条绘制的布线路径和文字提示信息实时地叠加在机械师的视野中，机械师在这些信息的帮助下能够一步一步地完成拆卸过程，减少拆卸过程中可能带来的风险。

　　在航空维修和航空制造领域，美国波音公司首先将增强现实技术应用于飞机制造中的电力线缆的连接和接线器的装配。据报道，DART 510 型航空发动机应用增强现实维修系统后其维修时间可减少 56% 。在载人航天工程中，美国 NASA 的 JPL 实验室就提出了 Phantom Robot 的概念，指出了用仿真图像对视频图像进行叠加增强，以便克服时延对操作的影响，这一方法经验证可以使操作时间节约近 50% 。

　　美军对于增强现实诱导维修技术在军事领域的应用十分关注，其空军在 2007 年 8 月联合空军研究实验室、战斗人员准备研究部、哥伦比亚大学等启动了维护修理增强现实研究计划，旨在加强对户外增强现实系统和支持分布式协同操作增强现实系统的研究，用以提升装备维护和维修训练的效果。增强现实技术诱导维修技术也进入了蓬勃发展的阶段。

　　2015 年，由美国国防部牵头成立的数字化制造与设计创新机构发布了七大研发项目，其中之一就是基于增强现实和可穿戴计算的生产车间布局。该项目实现的功能是通过增强现实显示设备实时展示和共享实物、模型、设计图纸等信息，利用多通道人机自然交互技术，使得异地、多人可以实时互动，沟通交流设计思想，修改与改进方案; 通过增强现实系统，可以将装配维修的标准工作流程指南准确地显示给用户，提高工作效率。

　　2015 年 6 月，微软增强现实设备 Hololens 获得了美国 NASA 的垂青，将作为 Sidekick 项目的关键工具，随 着 SpaceX 公司的太空飞船登陆太空， Sidekick 项目能够帮助宇航员更快掌握空间站的维修，适应空间站环境，从而缩短训练时间，提升任务效率。

　　1. 2 基于增强现实的装备维修技术在国内的发展现状

　　国内增强现实技术的起步较晚，目前在军事领域的应用很少，但在一些民用设备的维修方面取得了一定的成果[4]。如南京航空航天大学 RMS 中心则开展了将 AR 技术用于民用航空器维修的相关研究工作; 华中科技大学徐迟主要研究了增强现实环境下装配系统的虚实融合技术，根据虚实模型混合特点构建装配模型，采用机器视觉标志跟踪法进行三维注册，利用深度图逐点对比虚实对象的深度位置关系以解决虚实遮挡问题，并实现虚实零件的融合; 广东工业大学的宋春雨以齿轮油泵为研究对象，在移动终端 Android 系统下，实现增强现实环境下的装配，并着重研究了虚实融合技术的实现、无标识注册算法和交互方式的设计。

　　2 基于增强现实的武器装备智能维修系统框架

　　基于增强现实的装备维修系统按照功能不同可以划分为维修引导信息离线建模模块、维修对象视觉处理、虚拟维修工具注册融合模块、人机交互 4 个模块。

　　维修引导信息离线建模模块[5]主要是在在线维修开始之前对增强现实引导维修的功能过程进行建模，通过采集相关的维修场景图片，输入与之对应的维修引导信息，进而生成相应的数据库，供在线维修阶段进行对比调用。维修对象视觉处理模块主要功能是通过计算机视觉对维修场景进行相关处理分析，包括维修目标的识别跟踪、三维场景重建、计算机位姿跟踪。

　　虚拟维修工具注册融合模块的主要内容是求解出虚拟引导工具的注册位姿，并将其与真实场景无缝融合起来。

　　人机交互模块包含两部分内容，一部分是将融合好的增强现实维修场景通过头戴式显示器展示给维修人员，另一部分是维修人员对虚拟引导工具的操控，主要通过语音、人体动作的方式进行控制。

　　3 基于增强现实的导弹装备智能维修系统关键技术研究

　　3. 1 维修引导信息离线建模模块

　　维修引导信息是指在增强现实的虚拟场景中给予的用于辅助维修操作的信息，可以采用视频、音频、图像、文字、标识等形式给出，通过分析培训任务，从相关维修手册、资料中分析出维修辅助信息，并在增强现实的虚拟场景中建模实现。

　　维修引导信息建模主要包括二维的文字、图片及视频辅助引导信息和三维的虚拟模型引导信息。二维维修引导信息主要包括操作设备名称、维修操作步骤信息、工具信息等，主要通过多媒体上设备进行显示; 三维的虚拟模型引导信息主要包括维修操作对象设备和操作工具模型，两者在增强现实维修操作辅助系统中以三维模型的样式进行渲染叠加，其信息包括几何模型信息、三维位姿信息和引导路径信息等，Unity3D 工具是当前搭建三维模型最流行的软件。

　　离线维修场景采集是在离线情况下对可能出现的维修现场情况进行采集。每一种情况建立相应的 维修引导模型，将建立好的三维模型引导信息和二维模型引导信息与相应的维修场景图片匹配，储存到数据库中。在线训练时，通过对在线维修场景的分析从数据库中找出相应的维修引导模型，得出其注册位姿即可融合到真实环境中。

　　3. 2 维修对象视觉处理模块

　　本文设计的增强现实智能维修系统依据 Hololens 硬件平台开发实现，Hololens 同时具备 RGB 和深度摄像头[6]，维修对象视觉处理模块处理的信息主要基于 RGB-D 视频流。相比于传统的单一 RGB 检测或者灰度检测，基于 RGB-D 的联合检测方式融合了目标的深度信息，能够有效提升目标识别和场景重建的速度、准确率和鲁棒性。

　　3. 2. 1 图像目标的快速识别

　　为了实现基于图像自然特征[7]的维修对象识别与跟踪，需要从图像中快速提取特征并与三维特征库中的特征点进行匹配，从而获得一组二维图像点与三维特征点的对应。为此，需要实现图像特征的快速提取与描述，通常采用的方法有快速角点检测、二进制描述、SURF、Freak 等算法实现; 但是随着要描述场景空间的增加，特征库中描述子的数量也在不断增长，为了保持高的匹配精度，利用上述索引方法进行特征匹配的速度也在呈几何级数下降。

　　当前的主要解决途径有，改进二进制描述子索引方法，利用特征库中三维特征点与描述子的一对多特性，建立有监督的特征索引方法; 还可以采用层级聚类树或者局部敏感哈希方法对特征库中的描述子建立索引从而提高匹配速度。

　　3. 2. 2 维修对象视频目标跟踪

　　视频目标跟踪的本质就是在连续视频帧中找到感兴趣运动目标所处的位置。如何准确地识别目标，并进行长时间的实时稳定跟踪是研究的关键问题。

　　一些常用的目标跟踪算法[8]有基于粒子滤波的目标跟踪、基于 Meanshift 的目标跟踪、基于卡尔曼滤波的目标跟踪等。实际应用中常常将几种不同的方法结合起来使用，以发挥不同算法的优势，如 Meanshift 和粒子滤波方法结合起来，对每个粒子使用 Meanshift 算法改善每个粒子的性能，能提高跟踪精度。将卡尔曼滤波和 Meanshift 算法结合起来，通过卡尔曼滤波方法预测目标在下一帧的位置或者通过卡尔曼滤波更新目标模型来改善跟踪的性能。

　　为了在视频序列中更好地实现[9]目标跟踪，许多学者在目标跟踪方法中融入机器学习的思想来进行参数的自适应设定和目标的描述，以增强对环境的适应能力，从而产生了基于机器学习的目标跟踪方法，常用于目标跟踪的学习算法有支持向量机 ( SVM) 和 AdaBoost 。SVM 跟踪的缺点是不能处理目标的消失或重新出现现象以及目标部分或全部遮挡，AdaBoost 在实时性能上还有待提高。

　　随着深度学习理论[10]的发展，基于深度学习的视频目标跟踪系统逐渐得到更多的研究应用。在目标识别跟踪领域最典型的应用是卷积神经网络 ( Convolutional Neural Network，CNN) 。如图 5 所示，该卷积模型通过权值共享、局部感受野等特点，大幅度降低了神经网络中的参数数量，提高了计算速度。

　　深度学习模型的特点是数据量巨大，训练耗时较长，但是成功训练好的模型具有优越的识别性能。2015 年 11 月 9 日谷歌开源的人工智能系统 TensorFlow，2016 年 1 月微软开源的人工智能工具包 CNTK( Computational Network Toolkit，CNTK) ，是当前用于深度学习的最新软件平台，其中已经集成好很多经典的算法，可以用于解决图像识别和视频跟踪问题。其中，CNTK 工具包和 Hololens 眼镜均由微软推出，两者兼容性较好，并且 CNTK 是当前运行最快的深度学习软件，完全可以满足基于增强现实的智能维修系统实时性要求。

　　3. 2. 3 三维场景重建

　　传统的三维重建往往需要使用双目视觉原理对场景深度进行计算，RGB-D 摄像机的应用使三维重建过程得到了大幅度简化，利用深度传感器，可以同时采集单个视角的图像和与该视角图像对应的深度数据，通过对多个视角下采集的深度传感器数据的融合，能够实现真实场景三维重建。

　　为降低图像处理所需内存和与之对应的算法复杂度，当前的研究趋势是对维修对象物理空间进行稀疏三维表达; 对于物理空间的稀疏化造成的拓扑结构碎片问题，通过确定稀疏物理空间表达下的高效拓扑结构表述与索引方法来解决，基于高效拓扑表述的快速跟踪与融合能够有效提高三维重构的实时性。

　　3. 2. 4 摄像机位姿跟踪

　　基于自然特征点的摄像机位姿估算可以看作是一 个 透 视 n 点 投 影 问 题[11]， 简 称 为 PnP( Perspective n Point) 。假定像机模型为透视投影模型并且已经标定好，在图 6 中建立该模型，Oc 是摄像机坐标系原点，Os 是图像坐标系原点，Ow 是世界坐标系原点。摄取一幅在世界坐标系下坐标已知的 n 个空间点( 如图中 P1、P2、P3 ) 的图像，且这 n 个空间点所对应的图像坐标系的坐标( 图中 P' 1、 P' 2、P' 3 ) 已知，求解 n 个空间点在摄像机坐标系下的坐标，或是求解世界坐标系相对于摄像机坐标系的位置 t 和姿态 R。

　　如图 6 所示，当前主要的求解方法有解析求解算法、迭代求解算法和基于全局优化的求解算法。解析求解算法通过利用三维特征点和二维特征点间的几何关系来得到关于像机位置姿态的解析表达式。目前认为解析算法中计算复杂度最低的一种算法是文献中提出的 EPnP 算法。相比于解析求解算法，摄像机位姿迭代求解算法的优势是计算过程简单，而且抗图像噪声干扰、抗特征点误匹配的能力强。POSIT ( Pose From Orthography and Scaling With Iteration) 算法[12]是利用弱透视投影模型设计的一种迭代求解算法，并且在 OpenCV 中有专门的函数来实现这个算法。全局优化算法是针对迭代算法不能保证得到全局最优解的缺点提出的。

　　当前位姿解算的的三种求解方法中，迭代求解算法实时性较好，且对噪声的抗干扰能力较强，并具有较高的位姿估计精度，所以更广泛地应用到三维注册技术中。然而，由于位姿跟踪解算本身的复杂性，实际应用中还需要对算法进行一定的改进调整，效果较好的有文献[13]提出的利用迭代求解部分和精细调节过程构成的快速像机位姿估计算法。

　　3. 3 虚拟维修工具注册融合模块

　　该模块要完成的主要功能是从数据库中找到当前维修场景需要的维修引导模型，然后通过前一模块的分析得出维修引导工具的注册位姿，最后将维修引导工具融合到真实环境中，从而生成增强现实虚拟维修场景。

　　由摄像机位姿信息，再结合硬件传感器可以得到维修人员视点的位姿信息，以此为基础添加虚拟引导工具，进而确定虚拟维修工具的位姿。

　　相关知识推荐：发表增强现实技术方向的论文期刊

　　确定虚拟引导工具位姿后，要将虚拟维修工具与真实场景融合起来，称为虚实融合。其关键问题是维持真实维修环境中维修对象和虚拟引导工具位姿匹配的空间、时间一致性，对于空间一致性问题需要判断虚拟引导工具与真实的维修对象之间的空间干涉关系，一般分为两步，一是将三维重建的维修对象模型放置到与被维修对象完全重合，但不可视。二是将虚拟的工具设备与维修对象模型进行空间干涉判断，可以采用碰撞检测算法实现。时间一致性要求两个环境使用同一个仿真时间，并保证时间严格同步，否则会造成两个环境成像时间不一致性问题，严重影响增强现实系统的真实感。

　　3. 4 人机交互模块

　　当前人机交互的形式主要有两种，一是通过语音命令控制虚拟信息，二是通过人体动作对虚拟信息进行相关操作。Hololens 甚至 Kinect 内都配有相应的语音操作系统，对于开发者来说可以直接进行使用。

　　对于人体动作的识别有基于传感器的识别和视觉识别两种形式[14]。显然，基于视觉的识别有更好的人机交互体验，是当前的主要研究方向。就当前的研究现状而言，人体动作识别有手势识别和肢体动作识别两类。手势识别控制具有简单易操作的特点，通过识别手部的姿态信息，对系统输入不同的指令，从而完成对虚拟物体的相应操作。

　　手势识别主要包括手部分割、手部跟踪、特征提取、分类识别四个步骤，其流程如图 7 所示。

　　另一种识别类型是基于肢体动作的动作识别，如举臂、点头、下蹲、抬腿等。这些动作的判别主要依据与人体关节点的识别跟踪，Kinect 等体感设备本身就具有自动捕捉人体关节点的功能，跟踪这些关节点的位置组合可以对一些简单动作进行识别判定。——论文作者：刘 帆 刘鹏远 徐彬彬