具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

图1示例性地示出了本发明实施例提供的一种基于数字孪生的多指灵巧手状态监测方法的流程示意图，该方法能够简单方便地对多指灵巧手进行状态监测及评估，并能够及时预测灵巧手的非法操作并预警，避免企业财产与人身安全受到的损失，有效提升了生产效率，还大大降低了企业的运营成本。

参照图1所示，该方法主要包括如下步骤：

步骤101、根据多指灵巧手的实体部件位置和关节运动关系，构建多指灵巧手的数字孪生模型；

步骤102、收集多指灵巧手的状态相关传感器数据和关节位置传感器数据，以及多指灵巧手的位姿图像数据；

步骤103、根据预设的健康标签标记状态相关传感器数据，并输入SVM多分类器中进行训练，通过SVM多分类器获取多指灵巧手的状态信息；

步骤104、将位姿图像数据输入位姿判断器中，通过位姿判断器获取多指灵巧手的关节角度及坐标数据；将关节角度及坐标数据和关节位置传感器数据进行加权计算，获取多指灵巧手的位姿信息；

步骤105、将状态信息和位姿信息同步至数字孪生模型中，对多指灵巧手进行状态监测。

多指灵巧手是具有高集成度、高智能度的机电一体化系统，多指灵巧手一般具有3-5根手指，以及多于8个的独立自由度，拥有多种感知能力，能够分析环境并且可以针对目标类型对物体进行操作，灵巧手与人手十分相似，同样能够完成伸展、抓取等操作，具有高度的灵巧性和多方面的适用性。

多指灵巧手内置了大量的传感器，可以实时采集多指灵巧手的多种运行参数。同时，在多指灵巧手的上方、前方和侧方分别设置有摄像头，可以实时采集多指灵巧手的位姿图像。

在步骤101中，主要根据多指灵巧手的实体部件位置和关节运动关系，使用建模软件来构建多指灵巧手的数字孪生模型。

具体地，先在ROS环境中的catkin_ws目录下创建工作空间，其中ROS(RobotOperating System，机器人操作系统)是提供一系列程序库和工具以帮助软件开发者创建机器人应用软件；然后，用catkin_init_workspace初始化工作空间，在工作空间catkin_ws/src/目录下通过catkin_create_pkg来创建硬件描述包并附加依赖。

接着，根据多指灵巧手的实体部件位置以及关节运动关系，创建并编辑多指灵巧手的urdf文件；然后，使用SolidWork或3D studio MAX等建模软件创建多指灵巧手的3D模型文件，即多指灵巧手的数字孪生模型，并导出为mesh格式，创建meshes文件夹并放入编辑好的mesh文件。

最后，编辑urdf配套的launch文件；然后，直接通过roslaunch命令运行launch文件，启动ROS中的三维可视化平台rviz界面和对应的数字孪生模型。

在步骤102中，通过订阅多指灵巧手中内置的传感器的方式收集这些传感器的数据，具体包括多指灵巧手的状态相关传感器数据和关节位置传感器数据。同时，还通过设置在多指灵巧手的上方、前方和侧方的三个摄像头，收集多指灵巧手在这三个方位的位姿图像数据。

其中，状态相关传感器数据可用于判断多指灵巧手的状态，而关节位置传感器数据和位姿图像数据则用于判断多指灵巧手的位姿。

在本申请提供的一种可选实施例中，状态相关传感器数据包括温度传感器数据、电流电压传感器数据和关节力矩传感器数据；位姿图像数据包括上方位姿图像数据、前方位姿图像数据和侧方位姿图像数据。

具体地，多指灵巧手的状态相关传感器包括温度传感器、电流电压传感器和关节力矩传感器，其中温度传感器数据为温度传感器收集的多指灵巧手各部位的温度数据以及外部温度数据，电流电压传感器数据为电流电压传感器收集的多指灵巧手内部的供电电压数据及电流数据，关节力矩传感器数据为关节力矩传感器收集的多指灵巧手中关节与关节之间和关节与物体之间施加的作用力数据；而关节位置传感器数据为关节位置传感器收集的多指灵巧手的关节角度数据。

多指灵巧手的上方、前方和侧方分别设置有摄像头，其中上方位姿图像数据为多指灵巧手上方的摄像头收集的位姿图像，前方位姿图像数据为多指灵巧手前方的摄像头收集的位姿图像，侧方位姿图像数据为多指灵巧手侧方的摄像头收集的位姿图像。

上述收集的状态相关传感器数据、关节位置传感器数据以及位姿图像数据，通常都带有无法避免的噪声，因此可以通过去噪算法去除一部分噪声与异常值，以使数据可用。

在步骤102之后，还包括以下步骤：

通过对局部数据做平滑处理的方法或用异常数值周围的数据插值出正常数值的方法，对状态相关传感器数据和关节位置传感器数据进行去噪声处理；

通过形成去除高斯噪声的递进式残差融合密集网络的方法，对位姿图像数据进行去噪声处理。

上述步骤中，由于噪声的存在，导致传感器采集数据时出现异常值难以避免，对于异常值可以采用两种方法处理：对局部数据做平滑处理，或用异常值周围的数据插值出正常的数值。通过这两种方法，能够对状态相关传感器数据和关节位置传感器数据进行去噪声处理。

对于位姿图像数据中的噪声，使用针对去除高斯噪声的递进式残差融合密集网络DnRFD。该网络首先采用密集块来学习图像中的噪声分布，在充分提取图像局部特征的同时大幅降低网络参数；然后，利用递进策略将浅层卷积特征依次与深层特征短线连接形成残差融合网络，提取出更多针对噪声的全局特征；最后，将各密集块的输出特征图进行融合后输入给重建输出层，得到最后的输出结果，即可实现对位姿图像数据的去噪声处理。

在步骤103中，将多指灵巧手的状态进行划分，并将划分好的状态作为标签来对上述状态相关传感器数据进行标记，然后作为训练样本输入SVM多分类器中进行训练，最后将训练得到的SVM模型作为判断多指灵巧手状态的状态分类器，以获取多指灵巧手的状态信息。

其中，SVM(Support Vector Machine，支持向量机)是一类按监督学习(supervised learning)方式对数据进行二元分类的广义线性分类器。

在本申请提供的一种可选实施例中，步骤103可按照如下步骤具体实施：

步骤1031、对多指灵巧手的状态进行划分，将划分好的状态作为预设的健康标签。

该步骤中，预先将多指灵巧手的状态进行划分，如可以划分为健康、危险、损坏等状态，这些状态可充分体现多指灵巧手的健康情况，然后再将划分好的状态作为预设的健康标签用于数据标记。

步骤1032、根据健康标签标记状态相关传感器数据，并作为训练样本输入SVM多分类器中进行训练，使SVM多分类器输出训练好的SVM模型。

该步骤中，采用上述步骤得到的健康标签将收集的状态相关传感器数据打上标签，作为SVM多分类器的训练样本并输入SVM多分类器中进行训练，最后输出训练好的SVM模型。

使用SVM多分类器可实现多分类方法，SVM多分类器需求的计算量小，即使在一些边缘设备上也可以很好的运行。

步骤1033、将SVM模型作为判断多指灵巧手状态的状态分类器，并通过状态分类器匹配当前多指灵巧手的状态，生成多指灵巧手的状态信息。

该步骤中，将上述步骤训练得到的SVM模型作为判断多指灵巧手状态的状态分类器，然后使用该状态分类器匹配当前多指灵巧手的状态，从而得到多指灵巧手的状态信息。

在步骤104中，先利用网络数据集或自行收集的图像信息训练位姿判断器，然后将步骤102中得到的多指灵巧手的位姿图像数据输入训练好的位姿判断器中，通过位姿判断器来获取多指灵巧手的关节角度及坐标数据。

然后，给上述获取到的将关节角度及坐标数据和步骤102中得到的关节位置传感器数据乘以自定义的权重进行加权计算，从而获取多指灵巧手的位姿信息。示例性地，在关节位置传感器噪声过大甚至失真的情况下，可以缩小关节位置传感器数据的权重，而加大通过位姿判断器获取的关节角度及坐标数据的权重。

需要说明的是，步骤103和步骤104分别获取多指灵巧手的状态信息和位姿信息，这两个步骤没有严格的顺序要求，本领域技术人员可以按照实际情况选择先执行其中一个步骤，或者同时执行两个步骤。

在步骤105中，将步骤103中获取到的多指灵巧手的状态信息和步骤104中获取到的多指灵巧手的位姿信息同步至步骤101中构建好的数字孪生模型中，运行该数字孪生模型，对多指灵巧手的状态做出实时监测以及评估，并能够及时预测多指灵巧手的非法操作并预警，避免造成损失。

在本申请提供的一种可选实施例中，步骤105可按照如下步骤具体实施：

步骤1051、在多指灵巧手运行过程中，将状态信息和位姿信息同步至数字孪生模型中，获取多指灵巧手的同步健康信息。

该步骤中，在多指灵巧手的运行过程中，将步骤103中获取到的状态信息和步骤104中获取到的位姿信息同步至构建好的数字孪生模型中，运行该数字孪生模型，获取多指灵巧手的同步健康信息。

步骤1052、将同步健康信息与多指灵巧手的先验知识进行比较，确定多指灵巧手的状态监测结果，并对会造成多指灵巧手损坏的行为预警。

该步骤中，将上述步骤得到的多指灵巧手的同步健康信息与多指灵巧手的先验知识进行比较，来综合判断多指灵巧手的健康状态，最终确定多指灵巧手的状态监测结果，同时能够对会造成多指灵巧手损坏的行为进行预警，以避免企业财产与人身安全受到损失。

其中，上述的先验知识一般根据多指灵巧手的性能得到，如关节活动范围等。

需要说明的是，对于上述方法的实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明所必须的。

综上所述，本发明实施例提供的基于数字孪生的多指灵巧手状态监测方法，通过构建多指灵巧手的数字孪生模型，接着收集多指灵巧手的状态相关传感器数据、关节位置传感器数据和位姿图像数据，然后根据这些数据分别获取多指灵巧手的状态信息和位姿信息，最后根据获取到的状态信息和位姿信息对多指灵巧手进行状态监测。

本发明能够简单方便地对多指灵巧手进行状态监测及评估，并能够及时预测灵巧手的非法操作并预警，避免企业财产与人身安全受到的损失，有效提升了生产效率，还大大降低了企业的运营成本。

基于同一发明构思，图2示例性地示出了本发明实施例提供的一种基于数字孪生的多指灵巧手状态监测装置，由于该装置解决技术问题的原理与一种基于数字孪生的多指灵巧手状态监测方法相似，因此该装置的具体实施方式可以参见方法的具体实施方式，重复之处不再赘述。

参照图2所示，该装置主要包括如下单元：

模型构建单元201，用于根据多指灵巧手的实体部件位置和关节运动关系，构建多指灵巧手的数字孪生模型；

数据收集单元202，用于收集多指灵巧手的状态相关传感器数据和关节位置传感器数据，以及多指灵巧手的位姿图像数据；

状态信息获取单元203，用于根据预设的健康标签标记状态相关传感器数据，并输入SVM多分类器中进行训练，通过SVM多分类器获取多指灵巧手的状态信息；

位姿信息获取单元204，用于将位姿图像数据输入位姿判断器中，通过位姿判断器获取多指灵巧手的关节角度及坐标数据；将关节角度及坐标数据和关节位置传感器数据进行加权计算，获取多指灵巧手的位姿信息；

状态监测单元205，用于将状态信息和位姿信息同步至数字孪生模型中，对多指灵巧手进行状态监测。

此处需要说明的是，上述模型构建单元201、数据收集单元202、状态信息获取单元203、位姿信息获取单元204和状态监测单元205对应于上述方法实施例中的步骤101至步骤105，四个单元与对应的步骤所实现的实例和应用场景相同，但不限于上述方法实施例所公开的内容。

优选地，所述状态相关传感器数据包括温度传感器数据、电流电压传感器数据和关节力矩传感器数据；

所述位姿图像数据包括上方位姿图像数据、前方位姿图像数据和侧方位姿图像数据。

优选地，数据收集单元202还用于：

通过对局部数据做平滑处理的方法或用异常数值周围的数据插值出正常数值的方法，对状态相关传感器数据和关节位置传感器数据进行去噪声处理；

通过形成去除高斯噪声的递进式残差融合密集网络的方法，对位姿图像数据进行去噪声处理。

优选地，状态信息获取单元203具体用于：

对多指灵巧手的状态进行划分，将划分好的状态作为预设的健康标签；

根据健康标签标记状态相关传感器数据，并作为训练样本输入SVM多分类器中进行训练，使SVM多分类器输出训练好的SVM模型；

将SVM模型作为判断多指灵巧手状态的状态分类器，并通过状态分类器匹配当前多指灵巧手的状态，生成多指灵巧手的状态信息。

优选地，状态监测单元205具体用于：

在多指灵巧手运行过程中，将状态信息和位姿信息同步至数字孪生模型中，获取多指灵巧手的同步健康信息；

将同步健康信息与多指灵巧手的先验知识进行比较，确定多指灵巧手的状态监测结果，并对会造成多指灵巧手损坏的行为预警。

需要说明的是，本发明实施例提供的基于数字孪生的多指灵巧手状态监测装置与前述实施例所述的基于数字孪生的多指灵巧手状态监测方法属于相同的技术构思，其具体实施过程可参照前述实施例中对方法步骤的说明，在此不再赘述。

应当理解，以上一种基于数字孪生的多指灵巧手状态监测装置包括的单元仅为根据该装置实现的功能进行的逻辑划分，实际应用中，可以进行上述单元的叠加或拆分。并且该实施例提供的一种基于数字孪生的多指灵巧手状态监测装置所实现的功能与上述实施例提供的一种基于数字孪生的多指灵巧手状态监测方法一一对应，对于该装置所实现的更为详细的处理流程，在上述方法实施例中已做详细描述，此处不再详细描述。

综上所述，本发明实施例提供的基于数字孪生的多指灵巧手状态监测装置，通过构建多指灵巧手的数字孪生模型，接着收集多指灵巧手的状态相关传感器数据、关节位置传感器数据和位姿图像数据，然后根据这些数据分别获取多指灵巧手的状态信息和位姿信息，最后根据获取到的状态信息和位姿信息对多指灵巧手进行状态监测。

本发明能够简单方便地对多指灵巧手进行状态监测及评估，并能够及时预测灵巧手的非法操作并预警，避免企业财产与人身安全受到的损失，有效提升了生产效率，还大大降低了企业的运营成本。

基于同一发明构思，图3示例性地示出了本发明实施例提供的一种基于数字孪生的多指灵巧手状态监测设备，由于该设备解决技术问题的原理与一种基于数字孪生的多指灵巧手状态监测方法相似，因此该设备的具体实施方式可以参见方法的具体实施方式，重复之处不再赘述。

参照图3所示，本发明实施例提供一种基于数字孪生的多指灵巧手状态监测设备，该设备主要包括处理器301和存储器302，其中存储器302内存储有执行指令。该处理器301读取存储器302内的执行指令用于执行上述基于数字孪生的多指灵巧手状态监测方法任一个实施例中所述的步骤。或者，该处理器301读取存储器302内的执行指令用于实现上述基于数字孪生的多指灵巧手状态监测装置任一个实施例中各单元的功能。

图3为本发明实施例提供的基于数字孪生的多指灵巧手状态监测设备的一种结构示意图，如图3所示，该设备包括处理器301、存储器302和收发器303；其中，处理器301、存储器302和收发器303通过总线304相互实现相互间的通信。

上述提到的总线304可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条箭头线表示，但并不表示仅有一根总线或一种类型的总线。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

综上所述，本发明实施例提供的基于数字孪生的多指灵巧手状态监测设备，通过构建多指灵巧手的数字孪生模型，接着收集多指灵巧手的状态相关传感器数据、关节位置传感器数据和位姿图像数据，然后根据这些数据分别获取多指灵巧手的状态信息和位姿信息，最后根据获取到的状态信息和位姿信息对多指灵巧手进行状态监测。

本发明能够简单方便地对多指灵巧手进行状态监测及评估，并能够及时预测灵巧手的非法操作并预警，避免企业财产与人身安全受到的损失，有效提升了生产效率，还大大降低了企业的运营成本。

本发明实施例还提供一种计算机可读存储介质，包含计算机执行指令，所述计算机执行指令被用于执行上述基于数字孪生的多指灵巧手状态监测方法实施例中所述的步骤。或者，所述计算机执行指令被用于执行上述基于数字孪生的多指灵巧手状态监测装置实施例中各单元的功能。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于，电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率(Radio Frequency，RF)等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。