指示信号识别方法、设备以及计算机存储介质
技术领域
本发明实施例涉及计算机数据处理
技术领域
,具体涉及一种指示信号识别方法、设备以及计算机存储介质。背景技术
目前的控制器或系统上较常通过控制指示灯的灭亮,来生成不同的闪烁序列,从而表征不同的状态信息,把故障、模式等状态信息传递给用户或维修人员。
现有技术中在对闪烁序列进行识别时,一般是如图1所示的,通过人工计时和记录序列,然后在故障表中进行查询,确定指示灯的闪烁序列对应的指示状态。发明人在实施本发明的过程中发现:现有技术中的指示信号的识别效率和准确率都较低。
发明内容
鉴于上述问题,本发明实施例提供了一种指示信号识别方法、设备以及计算机存储介质,用于解决现有技术中存在的指示信号的识别效率和准确率的问题。
一个方面,本发明实施例提供了一种指示信号识别方法,所述方法包括:获取目标设备的目标视频数据;对所述目标视频数据进行图像识别,确定所述目标视频数据对应的目标图像特征序列;根据所述目标图像特征序列确定所述目标设备的目标指示类型。
在一种可选的方式中,所述方法还包括:确定所述目标视频数据中包含的多个图像帧和各个所述图像帧对应的时间戳;分别对各个所述图像帧进行图像识别,得到各个所述图像帧分别对应的子图像特征;根据所述时间戳将所述子图像特征进行组合,得到所述目标图像特征序列。
在一种可选的方式中,所述方法还包括:
将所述目标图像特征序列与多个可选指示信号特征序列分别进行匹配;其中,每一个所述可选指示信号特征序列对应一个可选指示类型;将匹配到的可选指示信号特征序列对应的可选指示类型确定为所述目标设备的目标指示类型。
在一种可选的方式中,所述方法还包括:
根据所述时间戳顺序将所有所述子图像特征进行组合,得到待处理图像特征序列;获取所述目标设备的指示信号传输协议;根据所述指示信号传输协议确定序列周期参数;根据所述序列周期参数对所述待处理图像特征序列进行抽取,得到所述目标图像特征序列;其中,所述目标图像特征序列包括至少一个序列输出周期;所述序列输出周期为所述可选指示信号特征序列的输出周期。
在一种可选的方式中,所述序列周期参数包括第一标志位与第二标志位,所述第一标志位与第二标志位分别用于表征所述序列输出周期的开始与结束;所述方法还包括:在所述待处理图像特征序列进行所述第一标志位和所述第二标志位的识别;将识别到的相邻的所述第一标志位与所述第二标志位之间的所述待处理图像特征序列确定为所述目标图像特征序列。
在一种可选的方式中,所述序列周期参数还包括目标序列长度;所述目标序列长度为一个所述序列输出周期对应的序列长度;所述方法还包括:以所述目标序列长度为检测步长,对所述待处理图像特征序列中进行相邻且重复的图像特征进行检测;根据检测结果确定所述目标图像特征序列。
在一种可选的方式中,所述方法还包括:
按照预设的采样频率对所述目标视频数据进行采样,得到所述多个图像帧;根据各个所述图像帧在所述目标视频数据中的时间戳确定各个所述图像帧对应的时间戳。
在一种可选的方式中,所述方法还包括:
获取所述目标设备的指示信号传输协议;根据所述指示信号传输协议确定输出周期时长;所述输出周期时长为一个所述序列输出周期对应的时长;根据所述采样频率与所述输出周期时长确定采样比例;根据所述采样比例对所述目标图像特征序列进行还原处理,得到原始图像特征序列;其中,所述原始图像特征序列的序列长度为所述目标序列长度;将所述原始图像特征序列分别与各个所述可选指示信号特征序列进行匹配;将匹配到的所述可选指示信号特征序列确定为目标指示信号特征序列;将所述目标指示信号特征序列对应的指示类型确定为所述目标指示类型。
在一种可选的方式中,所述方法还包括:根据所述目标图像特征序列确定目标图像特征波形图;所述目标图像特征波形图的横坐标为时间、纵坐标为图像特征值;根据所述可选指示信号特征序列确定可选指示信号波形图;所述可选指示信号波形图的横坐标为时间、纵坐标为指示信号特征值;将所述目标图像特征波形图与所述可选指示信号波形图进行波形匹配;将匹配到的所述可选指示信号波形图对应的所述可选指示信号特征序列确定为所述目标指示信号特征序列。
另一方面,本发明实施例提供了一种指示信号识别设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如所述指示信号识别方法的操作。
又一方面,本发明实施例提供了一种计算机可读存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使指示信号识别设备执行所述指示信号识别方法的操作。
本发明实施例通过获取目标设备的目标视频数据;对目标视频数据进行图像识别,确定目标视频数据对应的目标图像特征序列;最后根据目标图像特征序列确定目标设备的目标指示类型,区别于现有技术中采取的人工识别指示信号的效率和准确率都较低的问题,本发明实施例能够自动根据目标视频数据确定出目标图像特征序列,从而确定出目标图像特征序列对应的目标指示类型,从而提高了指示信号识别的效率和准确率。
上述说明仅是本发明实施例技术方案的概述,为了能够更清楚了解本发明实施例的技术手段,而可依照说明书的内容予以实施,并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的
具体实施方式
。
附图说明
附图仅用于示出实施方式,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。
图1示出了现有技术中指示信号识别方法的流程示意图。
图2示出了本发明实施例提供的指示信号识别方法的流程示意图。
图3示出了本发明实施例提供的指示信号识别方法的应用场景图。
图4示出了本发明实施例提供的指示信号识别系统的模块示意图。
图5示出了本发明实施例提供的指示信号识别设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。
图2示出了本发明实施例提供的指示信号识别方法的流程图,该方法由计算机处理设备执行。该计算机处理设备可以包括手机、笔记本电脑等。
在本发明的一个实施例中,指示信号识别方法的应用场景可以如图3所示出的:用户通过安装在计算机处理设备上的诊断软件,实时录制或者上传预先摄制完成的目标视频数据,其中,目标视频数据的摄制对象是目标设备的被测系统上的指示灯。诊断软件通过本发明实施例示提供的指示信号识别方法确定出目标视频数据对应的目标指示类型,将该目标指示类型作为识别结果在诊断软件中返回给用户。
下面对本发明实施例提供的指示信号识别方法进行说明,如图2所示,该方法包括以下步骤:步骤101:获取目标设备的目标视频数据。
在本发明的一个实施例中,目标设备可以是如车、机器等包括指示装置的设备,指示装置可以是仪表盘、指示灯等装置。目标视频数据包括前述指示装置在目标采样时间内对应的视频数据、多连拍照片数据等。其中,采样时间可以根据步骤234中的序列周期参数确定。
在本发明的再一个实施例中,目标视频数据可以是实时获取的,也可以是用户预先录制完成并上传的。
当目标视频数据是实时获取的时,可以按照步骤102实时确定获取到的视频数据对应的实时图像特征序列,并确定实时图像特征序列是否满足预设判断条件。在满足预设判断条件时,向用户发送提示消息,以提示结束视频的实时录制。其中,预设判断条件可以是实时图像特征序列中包含至少一个步骤234中所述的序列输出周期,预设判断条件用于表征实时图像特征序列中包含进行目标指示类型的判断所需的全部信息。
步骤102:对所述目标视频数据进行图像识别,确定所述目标视频数据对应的目标图像特征序列。
在本发明的一个实施例中,对所述目标视频数据进行图像识别的过程可以包括如下:对目标视频数据按照一定的采样频率进行采样,抽取出目标视频数据中包含的多个图像帧。
对各个图像帧进行图像特征提取,识别出图像帧中的目标区域对应的灰度信息、亮度信息以及RGB(Red Green Blue,红绿蓝三原色)信息等图像特征信息。再按照各个图像帧在目标视频数据中出现的时间顺序将各个目标区域对应的图像特征信息进行组合,得到目标图像特征序列。其中,目标区域可以是各个图像帧中指示装置所在的区域。
在本发明的再一个实施例中,在对各个图像帧进行图像特征提取之前,还可以对各个图像帧进行图像预处理,从而提高图像特征提取的效率。
在本发明的再一个实施例中,步骤102还至少包括:步骤1021:确定所述目标视频数据中包含的多个图像帧和各个所述图像帧对应的时间戳。
首先,指示信息一般是通过指示装置的闪烁序列来表示不同的指示状态,闪烁序列是一段包括至少一种类型的子信号的序列。其中,区分子信号类型的信号特征可以是信号值的大小,如电平的高低,也可以是子信号的持续时长,如长亮与短亮等。
通过序列中包括的子信号的类型、各种子信号出现的时序、各种子信号的持续时长以及闪烁频率等来特异性标识出各个闪烁序列,从而使得闪烁序列可以用于表征各种特异性的指示状态。其中,闪烁序列中的每一字符位代表一个单位持续时长,即单位闪烁周期,一个子信号的持续时长至少包括一个单位闪烁周期。
在本发明的再一个实施例中,当子信号类型为高电平与低电平时,单位闪烁周期为1s,可以用闪烁序列110101表征“油量低”这一指示状态,1表示高电平,0表示低电平。则闪烁序列110101对应于的实际指示信号输出状态为高电平2s-低电平1s-高电平1s-低电平1s-高电平1s。
在本发明的再一个实施例中,当子信号类型为长亮与短亮时,以指示装置为一个指示灯的实施例进行闪烁序列的说明,将持续时长大于或等于2个单位闪烁周期的子信号的种类确定为长亮,将持续时长小于2个并且大于0个单位闪烁周期的子信号的种类确定为短亮,则11表示长亮,1表示短亮,0表示指示灯灭,则闪烁序列110101对应于的实际指示信息输出状态为长亮-灭-短亮-灭-短亮。
指示装置存在一定的闪烁频率,并且闪烁频率可以用于表征指示状态,因此需要根据指示装置的闪烁频率确定适合的采样频率,按照该采样频率从目标视频数据中进行多个图像帧的抽取,从而避免采样频率过小导致的遗漏闪烁序列的某一或多次闪烁变换,从而导致根据目标视频数据确定的目标图像特征序列无法与指示状态对应起来,降低了指示信息识别的准确率。
在本发明的一个实施例中,采样频率可以根据上述各种子信号的持续时长以及各个子信号之间的信号间隔时长来确定。因此,在本发明的再一个实施例中,步骤1021还至少包括:步骤211:按照预设的采样频率对所述目标视频数据进行采样,得到所述多个图像帧。
在本发明的一个实施例中,采样频率所对应的采样周期应该能够覆盖各个可选指示信号特征序列中每一个子信号变换的最小时间间隔。其中,可选指示信号特征序列指的是预设的特异性的指示信号特征序列,每一个可选指示信号特征序列对应于一种可选指示状态,每一个可选指示信号特征序列包括至少一种可选子信号对应的信号特征。
如在采样频率为1/2Hz,目标视频数据的总时长为60s时,从目标视频数据的起始时间开始,每隔2s从目标视频数据中抽取一个图像帧,则最后得到31个图像帧。
步骤212:根据各个所述图像帧在所述目标视频数据中的时间戳确定各个所述图像帧对应的时间戳。
继续上一步的举例说明,31个图像帧分别记为P1、P2......P31,图像帧P1、P2......P31在目标视频数据中的时间戳分别为00:00:00、00:00:02以及00:00:60。
步骤1022:分别对各个所述图像帧进行图像识别,得到各个所述图像帧分别对应的子图像特征。
在本发明的一个实施例中,首先获取图像帧的灰度分布信息,根据灰度分布信息确定出图像帧中的背景区域以及目标区域,其中目标区域即为指示装置所在的区域。然后根据图像帧目标区域对应的RGB信息以及亮度信息,确定各个图像帧对应的子图像特征。
在本发明的再一个实施例中,在进行图像识别之前可以首先对各个图像帧进行预处理,图像预处理可以包括去噪声处理、灰度化处理以及二值化处理等。
在本发明的再一个实施例中,在进行图像识别之前还可以对各个图像帧的图像质量进行检测,在图像的图像质量不满意预设阈值时,向客户发送提示信息,提示用户进行摄像头参数的调整或者重新上传目标视频数据,从而提高图像识别的准确率和效率。
步骤1023:根据所述时间戳将所述子图像特征进行组合,得到所述目标图像特征序列。
根据所述时间戳的先后顺序将所有所述子图像特征进行组合,得到目标图像特征序列。考虑到目标设备为了提高指示信号的送达率,一个闪烁序列一般会循环数次发送,从而方便被用户记录以及解析,因此,为了提高根据目标视频数据确定目标指示类型的效率,不需要将目标视频一一进行分析和匹配,从确定出包括目标图像特征序列中包括至少一个序列输出周期对应的序列信息进行分析即可。
因此,在本发明的再一个实施例中,步骤1023还至少包括:步骤231:根据所述时间戳顺序将所有所述子图像特征进行组合,得到待处理图像特征序列。
根据所述时间戳的先后顺序将所有所述子图像特征进行组合,得到待处理图像特征序列。
步骤232:获取所述目标设备的指示信号传输协议。
在本发明的一个实施例中,指示信号传输协议用于表征指示信号的传输与解析规则,至少包括如信号标志位、闪烁频率、亮灭对比度、单位信号序列长度以及数据解析协议等。其中,信号标志位用于标志指示信号的传输开始、传输结束、以及传输过程是否出现异常等与指示信号传输状态相关的冗余信息;单位信号序列长度指的是一个单位闪烁周期内输出的指示信号所占的字符位个数;亮灭对比度指的是指示灯在亮起时其亮度相对于不亮时的变化值。
在本发明的再一个实施例中,可以获取目标设备的设备标识,根据设备标识确定设备厂商、设备型号、通信标准等相关设备参数,从而根据上述相关设备参数在数据库中进行查询,确定上述指示信号传输协议。
步骤233:根据所述指示信号传输协议确定序列周期参数。
在本发明的一个实施例中,序列周期参数指的是可选指示信号特征序列的输出周期相关的参数,如周期的起始标志位信息、每一个输出周期对应的序列长度等。
步骤234:根据所述序列周期参数对所述待处理图像特征序列进行抽取,得到所述目标图像特征序列。
在本发明的一个实施例中,可以根据序列周期参数对待处理图像特征序列进行识别,将标识到的包含至少一个序列输出周期的图像特征序列抽取出来,作为目标图像特征序列,从而提高后续根据目标图像特征序列进行指示类型判断的效率。其中,所述序列输出周期为步骤212中所述的可选指示信号特征序列的输出周期。
在本发明的再一个实施例中,考虑到可能出现设备状态实时变化的情况,如:目标设备首先发送了第一指示信号,随后在第一指示信号之后不间断地发送了第二指示信号,假设第一指示信号与第二指示信号都分别包含三个序列输出周期,在第一指示信号的第三序列输出周期的开始时刻开始采集目标视频数据,那么若采取包含一个序列输出周期即为目标图像特征序列,则可能目标图像特征序列中对应的只是第一指示信号,而遗漏了设备状态变化后的第二指示信号。因此,在本发明的再一个实施例中,为了确保目标图像特征序列的正确性,目标图像特征序列中应包括至少两个上述序列输出周期。
在本发明的再一个实施例中,所述序列周期参数包括第一标志位与第二标志位,所述第一标志位与第二标志位分别用于表征所述序列输出周期的开始与结束;234还至少包括:步骤2341:在所述待处理图像特征序列进行所述第一标志位和所述第二标志位的识别。
在本发明的一个实施例中,第一标志位和第二标志位可以是如S、E等。
步骤2342:将识别到的相邻的所述第一标志位与所述第二标志位之间的所述待处理图像特征序列确定为所述目标图像特征序列。
举例说明,待处理图像特征序列可以是0110S0101010ES0101010ES0101010E0111,识别出相邻的第一标志位与第二标志位S0101010E,则目标图像特征序列为0101010。在指示信号传输协议中规定了可选指示信号特征序列为定长的情况下,在本发明的再一个实施例中,所述序列周期参数还包括目标序列长度;所述目标序列长度为一个所述序列输出周期对应的序列长度;
步骤234还至少包括:
步骤2343:以所述目标序列长度为检测步长,对所述待处理图像特征序列中进行相邻且重复的图像特征进行检测。
在本发明的再一个实施例中,还可以先按照步骤313确定采样比例,根据采样比例和目标序列长度确定采样序列长度,以采样序列长度为所述检测步长,对所述待处理图像特征序列中进行相邻且重复的图像特征进行检测。其中,将目标序列长度与采样比例的商确定为采样序列长度,如目标序列长度为4,采样比例为1/2,则采样序列长度为4*2=8。则在待处理图像特在序列中从第一个字符开始顺序进行检测,查找是否存在长度为8个字符位并且相邻重复出现的图像特征。
步骤2344:根据检测结果确定所述目标图像特征序列。
如针对序列BAAC,其中A为长度为7个字符位的序列,检测出的目标图像特征序列即为A。结合步骤2342中的举例,待处理图像特征序列可以是01100101010010101001010100111,在采样序列长度可以是如7个字符位时,则目标图像特征序列为0101010。
步骤103:根据所述目标图像特征序列确定所述目标设备的目标指示类型。
在本发明的一个实施例中,将目标图像特征序列与预设的多个可选指示信号特征序列分别进行匹配,根据匹配到的可选指示信号特征序列进行查表确定目标指示类型。
在本发明的再一个实施例中,步骤103还至少包括:步骤1031:将所述目标图像特征序列与多个可选指示信号特征序列分别进行匹配。
其中,每一个所述可选指示信号特征序列对应一个可选指示类型。
在本发明的再一个实施例中,步骤1031还包括:步骤311:获取所述目标设备的指示信号传输协议。
步骤311与步骤232相同,不再赘述。
步骤312:根据所述指示信号传输协议确定输出周期时长;所述输出周期时长为一个所述序列输出周期对应的时长。
在本发明的一个实施例中,输出周期时长可以是预先在指示信号传输协议中约定好的。
在本发明的再一个实施例中,在指示信号为等时信号的情况下,还可以根据指示信号传输协议确定信号持续时长和目标序列长度确定输出周期时长。具体地,将信号持续时长和目标序列长度的乘积确定为输出周期时长。其中,等时信号指的是一个指示信号输出序列中的各个子信号的持续时长和子信号之间的间隔时长是相同的信号。
步骤313:根据所述采样频率和所述输出周期时长确定采样比例。
在本发明的再一个实施例中,首先确定采样频率对应的采样周期。其中,采样周期为采样频率的倒数。将采样周期与一个序列输出周期对应的输出周期时长之间的比值确定为采样比例。举例说明,输出周期时长为5s,采样周期为2s,则采样比例为2/5=0.4。
步骤314:根据所述采样比例对所述目标图像特征序列进行还原处理,得到原始图像特征序列;其中,所述原始图像特征序列的序列长度为所述目标序列长度。
在本发明的一个实施例中,还原处理指的是以采样比例对目标图像特征序列相邻出现且相同的字符位进行合并,如在采样比例为1/3时,将每3个相邻出现且相同的字符位合并为1个该相同的字符位,如将000进行还原处理后,得到0。
步骤315:将所述原始图像特征序列分别与各个所述可选指示信号特征序列进行匹配。
步骤316:将匹配到的所述可选指示信号特征序列确定为目标指示信号特征序列。
步骤317:将所述目标指示信号特征序列对应的指示类型确定为所述目标指示类型。
步骤1032:将匹配到的可选指示信号特征序列对应的可选指示类型确定为所述目标设备的目标指示类型。
在本发明的再一个实施例中,步骤1032还包括:步骤321:根据所述目标图像特征序列确定目标图像特征波形图。
在本发明的一个实施例中,以时间为横坐标为时间、以图像特征值为纵坐标绘制目标图像特征波形图。其中,图像特征值可以是目标图像特征序列中各个字符位上的字符值,可以用于表征如灰度值大小等。
步骤322:根据所述可选指示信号特征序列确定可选指示信号波形图。
在本发明的一个实施例中,以时间为横坐标为时间、以指示信号特征值为纵坐标绘制目标图像特征波形图。其中,指示信号特征值可以是可选指示信号特征序列中各个字符位上的字符值,可以用于表征如电平信号高低等。
步骤323:将所述目标图像特征波形图与所述可选指示信号波形图进行波形匹配。
在本发明的一个实施例中,将目标图像特征波形图的波形变化特征与可选指示信号波形图的波形变化特征进行匹配,其中,波形变化特征包括相位变化频率、周期变化以及振幅变化等。
步骤324:将匹配到的所述可选指示信号波形图对应的所述可选指示信号特征序列确定为所述目标指示信号特征序列。
当目标图像特征波形图与所述可选指示信号波形图的波形变化趋势相同时,视作两者匹配。
本发明实施例提供的指示信号识别方法通过获取目标设备的目标视频数据;对目标视频数据进行图像识别,确定目标视频数据对应的目标图像特征序列;最后根据目标图像特征序列确定目标设备的目标指示类型。从而区别于现有技术中采取的人工识别指示信号的效率和准确率都较低的问题,本发明实施例提供的指示信号识别方法能够自动根据目标视频数据确定出目标图像特征序列,从而确定出目标图像特征序列对应的目标指示类型,从而提高了指示信号识别的效率和准确率。
图4示出了本发明实施例提供的指示信号识别系统的模块示意图。如图4所示,所述指示信号识别系统200为一个或者多个程序模块,一个或者多个程序模块被存储于存储器中,并由一个或多个处理器所执行,以完成本申请,本申请所称的模块是指能够完成特定功能的一系列计算机程序指令段。
所述指示信号识别系统200包括:获取模块201、识别模块202和确定模块203。
在一种可选的方式中,获取模块201,用于获取目标设备的目标视频数据。识别模块202,用于对所述目标视频数据进行图像识别,确定所述目标视频数据对应的目标图像特征序列。确定模块203,用于根据所述目标图像特征序列确定所述目标设备的目标指示类型。
在一种可选的方式中,识别模块202还用于:确定所述目标视频数据中包含的多个图像帧和各个所述图像帧对应的时间戳;分别对各个所述图像帧进行图像识别,得到各个所述图像帧分别对应的子图像特征;根据所述时间戳将所述子图像特征进行组合,得到所述目标图像特征序列。
在一种可选的方式中,识别模块202还用于:将所述目标图像特征序列与多个可选指示信号特征序列分别进行匹配;其中,每一个所述可选指示信号特征序列对应一个可选指示类型;将匹配到的可选指示信号特征序列对应的可选指示类型确定为所述目标设备的目标指示类型。
在一种可选的方式中,确定模块203还用于:将所述目标图像特征序列与多个可选指示信号特征序列分别进行匹配;其中,每一个所述可选指示信号特征序列对应一个可选指示类型;将匹配到的可选指示信号特征序列对应的可选指示类型确定为所述目标设备的目标指示类型。
在一种可选的方式中,识别模块202还用于:根据所述时间戳顺序将所有所述子图像特征进行组合,得到待处理图像特征序列;获取所述目标设备的指示信号传输协议;根据所述指示信号传输协议确定序列周期参数;根据所述序列周期参数对所述待处理图像特征序列进行抽取,得到所述目标图像特征序列;其中,所述目标图像特征序列包括至少一个序列输出周期;所述序列输出周期为所述可选指示信号特征序列的输出周期。
在一种可选的方式中,所述序列周期参数包括第一标志位与第二标志位,所述第一标志位与第二标志位分别用于表征所述序列输出周期的开始与结束;识别模块202还用于:在所述待处理图像特征序列进行所述第一标志位和所述第二标志位的识别;将识别到的相邻的所述第一标志位与所述第二标志位之间的所述待处理图像特征序列确定为所述目标图像特征序列。
在一种可选的方式中,所述序列周期参数还包括目标序列长度;所述目标序列长度为一个所述序列输出周期对应的序列长度;识别模块202还用于:以所述目标序列长度为检测步长,对所述待处理图像特征序列中进行相邻且重复的图像特征进行检测;根据检测结果确定所述目标图像特征序列。
在一种可选的方式中,识别模块202还用于:按照预设的所述采样频率对所述目标视频数据进行采样,得到所述多个图像帧;根据各个所述图像帧在所述目标视频数据中的时间戳确定各个所述图像帧对应的时间戳。
在一种可选的方式中,识别模块202还用于:获取所述目标设备的指示信号传输协议;根据所述指示信号传输协议确定输出周期时长;所述输出周期时长为一个所述序列输出周期对应的时长;根据所述采样频率和所述输出周期时长确定采样比例;根据所述采样比例对所述目标图像特征序列进行还原处理,得到原始图像特征序列;其中,所述原始图像特征序列的序列长度为所述目标序列长度;将所述原始图像特征序列分别与各个所述可选指示信号特征序列进行匹配;将匹配到的所述可选指示信号特征序列确定为目标指示信号特征序列;将所述目标指示信号特征序列对应的指示类型确定为所述目标指示类型。
在一种可选的方式中,确定模块203还用于:根据所述目标图像特征序列确定目标图像特征波形图;所述目标图像特征波形图的横坐标为时间、纵坐标为图像特征值;根据所述可选指示信号特征序列确定可选指示信号波形图;所述可选指示信号波形图的横坐标为时间、纵坐标为指示信号特征值;将所述目标图像特征波形图与所述可选指示信号波形图进行波形匹配;将匹配到的所述可选指示信号波形图对应的所述可选指示信号特征序列确定为所述目标指示信号特征序列。
本发明实施例提供的指示信号识别装置通过获取目标设备的目标视频数据;对目标视频数据进行图像识别,确定目标视频数据对应的目标图像特征序列;最后根据目标图像特征序列确定目标设备的目标指示类型。从而区别于现有技术中采取的人工识别指示信号的效率和准确率都较低的问题,本发明实施例提供的指示信号识别装置能够自动根据目标视频数据确定出目标图像特征序列,从而确定出目标图像特征序列对应的目标指示类型,从而提高了指示信号识别的效率和准确率。
图5示出了本发明实施例提供的指示信号识别设备的结构示意图,本发明具体实施例并不对指示信号识别设备的具体实现做限定。
如图5所示,该指示信号识别设备可以包括:处理器(processor)302、通信接口(Communications Interface)304、存储器(memory)306、以及通信总线308。其中:处理器302、通信接口304、以及存储器306通过通信总线308完成相互间的通信。通信接口304,用于与其它设备比如客户端或其它服务器等的网元通信。处理器302,用于执行指示信号识别系统200,具体可以执行上述用于指示信号识别方法实施例中的相关步骤。
具体地,指示信号识别系统200可以包括程序代码组成的一个或多个程序模块(参考图4),该程序代码包括计算机可执行指令。
处理器302可能是中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。指示信号识别设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。
存储器306,用于存放组成指示信号识别系统200的指示信号识别程序。存储器306可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
组成所述指示信号识别系统200的指示信号识别程序具体可以被处理器302调用使指示信号识别设备执行以下操作:获取目标设备的目标视频数据;对所述目标视频数据进行图像识别,确定所述目标视频数据对应的目标图像特征序列;根据所述目标图像特征序列确定所述目标设备的目标指示类型。
在一种可选的方式中,组成所述指示信号识别系统200的指示信号识别程序被处理器302调用使指示信号识别设备执行以下操作:确定所述目标视频数据中包含的多个图像帧和各个所述图像帧对应的时间戳;分别对各个所述图像帧进行图像识别,得到各个所述图像帧分别对应的子图像特征;根据所述时间戳将所述子图像特征进行组合,得到所述目标图像特征序列。
在一种可选的方式中,组成所述指示信号识别系统200的指示信号识别程序被处理器302调用使指示信号识别设备执行以下操作:将所述目标图像特征序列与多个可选指示信号特征序列分别进行匹配;其中,每一个所述可选指示信号特征序列对应一个可选指示类型;将匹配到的可选指示信号特征序列对应的可选指示类型确定为所述目标设备的目标指示类型。
在一种可选的方式中,组成所述指示信号识别系统200的指示信号识别程序被处理器302调用使指示信号识别设备执行以下操作:根据所述时间戳顺序将所有所述子图像特征进行组合,得到待处理图像特征序列;获取所述目标设备的指示信号传输协议;根据所述指示信号传输协议确定序列周期参数;根据所述序列周期参数对所述待处理图像特征序列进行抽取,得到所述目标图像特征序列;其中,所述目标图像特征序列包括至少一个序列输出周期;所述序列输出周期为所述可选指示信号特征序列的输出周期。
在一种可选的方式中,所述序列周期参数包括第一标志位与第二标志位,所述第一标志位与第二标志位分别用于表征所述序列输出周期的开始与结束;组成所述指示信号识别系统200的指示信号识别程序被处理器302调用使指示信号识别设备执行以下操作:在所述待处理图像特征序列进行所述第一标志位和所述第二标志位的识别;将识别到的相邻的所述第一标志位与所述第二标志位之间的所述待处理图像特征序列确定为所述目标图像特征序列。
在一种可选的方式中,所述序列周期参数还包括目标序列长度;所述目标序列长度为一个所述序列输出周期对应的序列长度;所述程序310被处理器302调用使指示信号识别设备执行以下操作:以所述目标序列长度为检测步长,对所述待处理图像特征序列中进行相邻且重复的图像特征进行检测;根据检测结果确定所述目标图像特征序列。
在一种可选的方式中,组成所述指示信号识别系统200的指示信号识别程序被处理器302调用使指示信号识别设备执行以下操作:按照预设的采样频率对所述目标视频数据进行采样,得到所述多个图像帧;根据各个所述图像帧在所述目标视频数据中的时间戳确定各个所述图像帧对应的时间戳。
在一种可选的方式中,组成所述指示信号识别系统200的指示信号识别程序被处理器302调用使指示信号识别设备执行以下操作:获取所述目标设备的指示信号传输协议;根据所述指示信号传输协议确定输出周期时长;所述输出周期时长为一个所述序列输出周期对应的时长;根据所述采样频率与和所述输出周期时长确定采样比例;根据所述采样比例对所述目标图像特征序列进行还原处理,得到原始图像特征序列;其中,所述原始图像特征序列的序列长度为所述目标序列长度;将所述原始图像特征序列分别与各个所述可选指示信号特征序列进行匹配;将匹配到的所述可选指示信号特征序列确定为目标指示信号特征序列;将所述目标指示信号特征序列对应的指示类型确定为所述目标指示类型。
在一种可选的方式中,组成所述指示信号识别系统200的指示信号识别程序被处理器302调用使指示信号识别设备执行以下操作:根据所述目标图像特征序列确定目标图像特征波形图;所述目标图像特征波形图的横坐标为时间、纵坐标为图像特征值;根据所述可选指示信号特征序列确定可选指示信号波形图;所述可选指示信号波形图的横坐标为时间、纵坐标为指示信号特征值;将所述目标图像特征波形图与所述可选指示信号波形图进行波形匹配;将匹配到的所述可选指示信号波形图对应的所述可选指示信号特征序列确定为所述目标指示信号特征序列。
本发明实施例提供的指示信号识别设备通过获取目标设备的目标视频数据;对目标视频数据进行图像识别,确定目标视频数据对应的目标图像特征序列;最后根据目标图像特征序列确定目标设备的目标指示类型。从而区别于现有技术中采取的人工识别指示信号的效率和准确率都较低的问题,本发明实施例提供的指示信号识别设备能够自动根据目标视频数据确定出目标图像特征序列,从而确定出目标图像特征序列对应的目标指示类型,从而提高了指示信号识别的效率和准确率。
本发明实施例提供了一种计算机可读存储介质,所述存储介质存储有至少一可执行指令,该可执行指令在指示信号识别设备上运行时,使得所述指示信号识别设备执行上述任意方法实施例中的指示信号识别方法。
可执行指令具体可以用于使得指示信号识别设备执行以下操作:获取目标设备的目标视频数据;对所述目标视频数据进行图像识别,确定所述目标视频数据对应的目标图像特征序列;根据所述目标图像特征序列确定所述目标设备的目标指示类型。
在一种可选的方式中,所述可执行指令使所述指示信号识别设备执行以下操作:确定所述目标视频数据中包含的多个图像帧和各个所述图像帧对应的时间戳;分别对各个所述图像帧进行图像识别,得到各个所述图像帧分别对应的子图像特征;根据所述时间戳将所述子图像特征进行组合,得到所述目标图像特征序列。
在一种可选的方式中,所述可执行指令使所述指示信号识别设备执行以下操作:将所述目标图像特征序列与多个可选指示信号特征序列分别进行匹配;其中,每一个所述可选指示信号特征序列对应一个可选指示类型;将匹配到的可选指示信号特征序列对应的可选指示类型确定为所述目标设备的目标指示类型。
在一种可选的方式中,所述可执行指令使所述指示信号识别设备执行以下操作:根据所述时间戳顺序将所有所述子图像特征进行组合,得到待处理图像特征序列;获取所述目标设备的指示信号传输协议;根据所述指示信号传输协议确定序列周期参数;根据所述序列周期参数对所述待处理图像特征序列进行抽取,得到所述目标图像特征序列;其中,所述目标图像特征序列包括至少一个序列输出周期;所述序列输出周期为所述可选指示信号特征序列的输出周期。
在一种可选的方式中,所述序列周期参数包括第一标志位与第二标志位,所述第一标志位与第二标志位分别用于表征所述序列输出周期的开始与结束;所述可执行指令使所述指示信号识别设备执行以下操作:在所述待处理图像特征序列进行所述第一标志位和所述第二标志位的识别;将识别到的相邻的所述第一标志位与所述第二标志位之间的所述待处理图像特征序列确定为所述目标图像特征序列。
在一种可选的方式中,所述序列周期参数还包括目标序列长度;所述目标序列长度为一个所述序列输出周期对应的序列长度;所述可执行指令使所述指示信号识别设备执行以下操作:以所述目标序列长度为检测步长,对所述待处理图像特征序列中进行相邻且重复的图像特征进行检测;根据检测结果确定所述目标图像特征序列。
在一种可选的方式中,所述可执行指令使所述指示信号识别设备执行以下操作:按照预设的采样频率对所述目标视频数据进行采样,得到所述多个图像帧;根据各个所述图像帧在所述目标视频数据中的时间戳确定各个所述图像帧对应的时间戳。
在一种可选的方式中,所述可执行指令使所述指示信号识别设备执行以下操作:获取所述目标设备的指示信号传输协议;根据所述指示信号传输协议确定输出周期时长;所述输出周期时长为一个所述序列输出周期对应的时长;根据所述采样频率与和所述输出周期时长确定采样比例;根据所述采样比例对所述目标图像特征序列进行还原处理,得到原始图像特征序列;其中,所述原始图像特征序列的序列长度为所述目标序列长度;将所述原始图像特征序列分别与各个所述可选指示信号特征序列进行匹配;将匹配到的所述可选指示信号特征序列确定为目标指示信号特征序列;将所述目标指示信号特征序列对应的指示类型确定为所述目标指示类型。
在一种可选的方式中,所述可执行指令使所述指示信号识别设备执行以下操作:根据所述目标图像特征序列确定目标图像特征波形图;所述目标图像特征波形图的横坐标为时间、纵坐标为图像特征值;根据所述可选指示信号特征序列确定可选指示信号波形图;所述可选指示信号波形图的横坐标为时间、纵坐标为指示信号特征值;将所述目标图像特征波形图与所述可选指示信号波形图进行波形匹配;将匹配到的所述可选指示信号波形图对应的所述可选指示信号特征序列确定为所述目标指示信号特征序列。
本发明实施例提供的计算机可读存储介质通过获取目标设备的目标视频数据;对目标视频数据进行图像识别,确定目标视频数据对应的目标图像特征序列;最后根据目标图像特征序列确定目标设备的目标指示类型。从而区别于现有技术中采取的人工识别指示信号的效率和准确率都较低的问题,本发明实施例提供的计算机可读存储介质能够自动根据目标视频数据确定出目标图像特征序列,从而确定出目标图像特征序列对应的目标指示类型,从而提高了指示信号识别的效率和准确率。
本发明实施例提供一种指示信号识别装置,用于执行上述指示信号识别方法。
本发明实施例提供了一种计算机程序,所述计算机程序可被处理器调用使指示信号识别设备执行上述任意方法实施例中的指示信号识别方法。
本发明实施例提供了一种计算机程序产品,计算机程序产品包括存储在计算机可读存储介质上的计算机程序,计算机程序包括程序指令,当程序指令在计算机上运行时,使得所述计算机执行上述任意方法实施例中的指示信号识别方法。
在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明实施例也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
上述实施例中的步骤,除有特殊说明外,不应理解为对执行顺序的限定。以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
- 上一篇:石墨接头机器人自动装卡簧、装栓机
- 下一篇:一种基于无线网络的人体姿态识别方法