具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合具体实施例，对本发明进行进一步详细说明。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

本发明提供了如图1-2的一种基于MR混合现实技术的通信设施检修操作系统，包括PC电脑端、移动端和MR终端，PC电脑端通过登录远程协同系统，能够在PC电脑上显示一线维护检修人员第一视角画面，并通过在线视频的方式，将指挥人员的画面传输到一线维护检修人员的MR眼镜中，通过远程协同指导一线检修人员解决棘手的技术难题；

移动端与PC电脑端通过登录远程协同系统连接，技术专家或指挥人员无论身处何地，都能通过移动端登录远程协同系统，显示一线维护检修人员第一视角画面，并通过在线视频的方式与一线检修人员进行实时视屏通话，将技术专家的画面传输到一线维护检修人员的MR眼镜中，通过远程协同指导一线检修人员解决棘手的技术难题，PC电脑端包括资料录入模块和数据存储模块，资料录入模块用于工作人员通过PC端登录平台，随时录入标准化维护检修工作资料，文字资料、视频资料、音频资料、图片资料，并且各类资料按类划分，PC电脑端还包括音视频调取模块，音视频调取模块用于在基站发生安全事故或设备严重损害情况时，工作人员通过PC端登录平台，调取历史音视频资料；

其中，音视频资料包括：一线检修工作人员MR眼镜第一视角视频数据、远程协同视频通话数据、远程协同语音通话数据，并且通过调阅音视频数据资料，倒查事故发生原因，确定是人为操作失误导致事故发生或是设备自身质量原因导致，确定责任认定；

其中，数据存储模块用于存储标准化操作教程、设备型号数据、设备图片、文字、操作引导语音、第一视角视频数据、视频通话数据、语音通话数据、人员信息数据内容；

MR终端设置为MR眼镜，一线基层维护检修人员通过佩戴MR眼镜，实现三维引导标准化操作、远程协同指导、标准操作流程资料调取功能，完成现场维护检修工作，MR眼镜的眼镜前罩的左右两侧均内设有IR摄像头、IR灯和控制处理器，控制处理器与IR摄像头连接，用于接收IR摄像头采集的人眼瞳孔位置信息；控制处理器根据人眼瞳孔位置信息计算眼球的视点方向和眼球的运动方向，来控制MR眼镜屏幕上鼠标点的人机交互操作；

MR眼镜的眼镜前罩的外侧正前部位左侧区域设置用于采集可见光图像和红外图像的第一RGB-IR图像传感器，第一RGB-IR图像传感器与控制处理器连接并将采集的信息传输给控制处理器；MR眼镜眼镜前罩的外侧正前部位右侧区域设置用于采集可见光图像和红外图像的第二RGB-IR图像传感器，第二RGB-IR图像传感器与控制处理器连接并将采集的信息传输给控制处理器；

MR眼镜眼镜前罩的外侧正前部位中间区域设置用于把红外条纹或点组成的图像投影到对面物体的IR投影灯；控制处理器根据第一RGB-IR图像传感器和第二RGB-IR图像传感器传输的信息计算对面物体的三维空间位置，然后根据三维空间位置描绘虚拟景物，并将虚拟景物叠加到第一RGB-IR图像传感器和第二RGB-IR图像传感器得到的RGB图像上，然后显示在显示屏上，MR眼镜还包括资料调取模块，资料调取模块用于一线检修工作人员在检修设备过程中，通过MR眼镜手势识别、眼球追踪、语音识别功能，随时调阅标准化资料，对照资料开展检修工作，现场解决检修难题；

控制处理器通过第一RGB-IR图像传感器和第二RGB-IR图像传感器采集所有红外定位灯，根据红外定位灯的位置计算移动端屏幕在三维空间中的位置，根据三维空间位置描绘虚拟景物，并将虚拟景物叠加到手机屏幕的三维空间位置上，然后显示在MR眼镜的显示屏上，控制处理器计算眼球的视点方向和眼球的运动方向后，对眼球直视的区域3D纹理做精细化处理，非直视区域不做精细化处理；控制处理器计算眼球的视点方向和眼球的运动方向后，对眼球直视的区域做精细化镜头修正，非直视的区域做简单化镜头修正；

上述设计，将PC电脑端、移动端和MR终端通过远程协同系统进行互通，不仅能通过在线视频的方式，将指挥人员的画面传输到一线维护检修人员的MR眼镜中，通过远程协同指导一线检修人员解决棘手的技术难题，而且能调取一线检修人员第一视角的历史视频资料，对事故原因进行分析调查；调取历史视频通话和语音通话记录，确定事故责任认定，提升通信基础设施检修效率，最大限度的降低因操作不当导致的设备损耗，减少不必要的经济损失，并且消除实际工作中的隐患，避免安全事故；

远程协同系统用于将MR眼镜摄像头拍摄到的第一视角画面同步传输到指挥中心，通过远程协同系统，指挥中心技术专家视频画面同步传输到MR眼镜上，实时指导维护人员进行现场操作，迅速解决问题，指导+检修同步完成，提升工作效率；远程协同系统能同时在PC端、移动端、MR眼镜端同时显示，达到跨设备无缝对接，解决了专业技术人员或专家不在现场或指挥中心，也能给通过手机实现远程协同工作，MR眼镜可以搭配手机、平板、和普通PC进行使用，并通过多种定位算法完成对虚拟场景的精准控制；

MR眼镜包括立体拍摄模块，立体拍摄模块安装在船端操作人员头部位置获取故障设备到摄像头的三维场景深度信息，根据三维场景深度信息调整三维摄像头的立体拍摄参数；融合压缩模块，接收立体拍摄模块传送的三维场景数据信息并将接收到的信息进行融合压缩处理，将其转换成用于传送的数据格式；通讯模块，通讯模块采用5G技术将融合压缩模块传送的数据信息传回到移动端，在MR眼镜的人机交互装置中调用配件模型库中的配件模型，模型库中的配件模型采用三维建模工具创建三维模型，通过数据手套移动配件模型进行装配展示，使用三维鼠标进行故障点标注，数据手套和位置跟踪器配合实时检测工作时的手形和手部各关节的弯曲角度,把手的位置和运动状态信息输入到MR眼镜、对配件模型进行抓取、旋转、移动操作；

作为可选的技术方案，远程协同系统包括设置在PC端的专家端模块以及设置在MR眼镜上的员工端模块；

专家端模块包括：标注识别模块，用于识别专家在终端设备对视频进行的信息标注；若识别到信息标注为预制标注时，通过笔画识别算法调取数据库中存放的模型，并将在屏幕上绘制的标注的屏幕位置、大小、朝向信息作为预制标注信息；若识别到信息标注为专家绘制的圈选标注时，将圈选多边形上的各个点的坐标序列作为圈选标注信息；若识别到信息标注为文字标注时，将文字标注信息编码及屏幕位置作为文字标注信息；

其中，终端设备用以设在专家端供专家通过手势交互输入相应操作协助用户完成装配维修任务；终端设备包括PC机、智能手机、平板电脑的一种或多种，通过鼠标在PC端的显示屏上进行标注，或在智能手机、平板电脑的触摸屏上绘制图形；

其中，预制标注包括：手势识别中的插拔指令和旋转指令；旋转指令包括水平方向的旋转指令和垂直方向的旋转指令；

员工端模块包括：信息采集模块、标注生成模块和结果显示模块，信息采集模块，用于通过增强现实设备采集现场环境的图像信息、音频信息和深度信息；

标注生成模块，用于将增强现实设备收到的标注信息生成三维模型并放置到对应的空间位置：若增强现实设备收到预制标注信息，则将收到的预制标注信息与屏幕位置、大小、朝向信息进行解包处理；根据屏幕位置将预制标注信息的三维模型放置到对应的空间位置，并调整预制标注的大小以及朝向；

若增强现实设备收到圈选标注信息，首先通过经典的约束Delaunay三角剖分动态算法对收到的坐标序列生成相应的圈选标注的三维模型，并通过坐标序列获取圈选多边形中心点坐标；通过该中心点坐标位置，将圈选标注的三维模型放置到对应的空间位置；

若增强现实设备收到文字标注信息，则将文字信息标注渲染到便签模型上，并将便签模型放置到对应的空间位置上；结果显示模块，用于将三维信息标注显示在增强现实设备的显示屏上；

本系统中，MR眼镜端通过登录通信设施维护检修操作系统，能录入或实时更新标准化检修操作资料，包括视频、音频、文字、图片资料内容，在通过远程协同系统，与一线检修人员进行实时语音通话；在PC端登录通信设施维护检修操作系统，用于调取一线检修人员第一视角的历史视频资料，对事故原因进行分析调查；调取历史视频通话和语音通话记录，确定事故责任认定；

可选的，MR眼镜端将物理世界构建三维空间的方法，具体为：

1)三维信息感知：MR眼镜通过视觉传感器感知三维环境信息，可以使用任何目前已知的空间感知的三维环境扫描算法；

其中，所述传感器采用IR红外摄像头，也可以是TOF或者结构光深度摄像头，但是选择不同的摄像头也决定了接下来算法的复杂程度；

2)三维场景重构，通过视觉传感器所获得的环境信息实时对场景进行三维重构；

该系统还包括移动端的接收通讯模块传送的数据信息的混合现实显示模块，混合现实显示模块将接收到的立体场景信息进行实时显示，以人眼所在位置为视点，以立体拍摄模块测量的三维场景深度作为混合现实显示模块的立体场景显示深度，显示出故障通信设施的三维立体场景，实现移动端三维立体场景的同步，并在此三维立体场景中进行故障通信设施的故障判断；接收混合现实显示模块传送的数据信息的辅助信息添加模块，辅助信息添加模块在岸上显示的三维立体场景中使用三维交互工具对故障点进行标注，同时从配件模型库中调取配件模型，把通信基础设施故障设备的维修装配方法展示出来；辅助信息添加模块将装配方法信息通过通信模块传送至故障通信设施上；故障通信设施的图形渲染模块接收辅助信息添加模块传送的数据信息、把专家维修操作信息和模型库配件信息进行三维图形渲染处理，根据混合现实眼镜对应的视场角和与场景相匹配的三维场景深度，渲染成维修辅助增强信息。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。