具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

脉冲神经网络（Spiking Neural Network）中的神经元是对生物神经元的一种模拟。由于是受生物神经元的启发，因此涉及生物神经元的一些概念，如突触、膜电压、突触后电流、突触后电位等概念，根据本领域约定俗成的表达方式，在脉冲神经网络中涉及到神经元相关的概念时，也使用相同的术语。在类脑芯片中，设计有模拟神经元的电路、模拟突触的电路。即芯片等，硬件领域的这些“生物学”概念，根据本领域的约定俗成的习惯，均指的是对应的模拟电路。除非有特别明确的指示，本发明中提到的诸如类似上述生物层面的概念，均是指脉冲神经网络中的对应的概念而非实际的生物细胞层面的概念。

本申请实施例提供一种对象识别方法及装置、芯片及电子设备。其中，该对象识别装置具体可以集成在各种电子设备中，该电子设备可以为终端等设备。

参考图1，该电子设备可以获取视觉传感器采集到的事件数据流，事件数据流包括至少一个像素事件的事件数据，事件数据包括像素事件的时间信息和空间信息；根据时间信息与空间信息，确定像素事件之间的时空关联关系；基于时空关联关系，对事件数据流进行事件数据去噪处理，得到处理后事件数据流，处理后事件数据流包括去噪后像素事件的事件数据；根据去噪后像素事件的空间信息，计算去噪后像素事件的距离特征；基于距离特征对去噪后像素事件进行聚类处理，得到聚类结果；根据聚类结果，对基于神经网络的对象识别模型进行训练，得到基于脉冲神经网络的训练后的对象识别模型，以通过训练后对象识别模型识别聚类结果对应的对象。

以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。

本申请实施例提供的一种对象识别方法，如图2所述，该对象识别方法的具体流程可以如下：

S101、获取视觉传感器采集到的事件数据流，事件数据流包括至少一个像素事件的事件数据，事件数据包括像素事件的时间信息和空间信息。

其中，视觉传感器为利用光学元件和成像装置获取外部环境视觉信息的仪器，可以使用分辨率来描述视觉传感器的性能。视觉传感器的精确度不仅与分辨率有关，而且同被测物体的检测距离相关。被测物体距离越远，其绝对的位置精确度越差。例如，视觉传感器可以以固定频率采集视觉信息；又如，视觉传感器可以基于地址－事件表达（Address-Event Representation，AER）来采集视觉信息。

作为示例，视觉传感器可以包括动态视觉传感器，具体地，本申请中的视觉传感器可以为基于AER的动态视觉传感器（Dynamic Vision Sensor，DVS）。该动态视觉传感器模仿生物视觉的工作机理，相较之下，传统的视觉图像采集方式以固定频率采集的“帧”为基础，具有高冗余、高延迟、高噪声、低动态范围和高数据量等缺陷。动态视觉传感器是像素异步工作，仅输出光强发生变化像素的地址和信息，而非被动依次读出“帧”内每个像素信息，从源头上消除冗余数据，具有场景变化实时动态响应、图像超稀疏表示、事件异步输出等特点，可广泛应用于高速目标跟踪、实时监控、工业自动化和机器人视觉等领域。

其中，像素事件为视觉传感器基于像素采集到的视觉信息而生成的事件，其中视觉信息可以包括光线变化信息，例如，光强或亮度变化信息等。例如，在视觉传感器检测到像素接收到的视觉信息发生变化时，可以生成对应的像素事件；譬如，在动态视觉传感器检测到像素接收到的亮度发生变化时，可以生成对应的像素事件。

其中，像素事件可以具有对应的事件数据，例如，动态视觉传感器在检测到像素接收到的亮度发生变化时，可以生成像素事件，该像素事件可以包括以下事件数据：时间信息，空间信息，以及视觉信息等。

其中，时间信息为描述像素事件生成的时间的相关信息，例如，时间信息可以具体以时间戳的形式呈现，又如，时间信息可以以距离目标像素事件的时间差的形式呈现，等等。

其中，空间信息为描述生成像素事件所对应的像素的位置信息，例如，空间信息可以具体以像素坐标的形式呈现。

其中，视觉信息为像素事件所捕获到的视觉信息，例如，视觉信息可以包括像素事件所捕获到的亮度变化信息。

作为示例，像素事件的事件数据可以基于AER进行表示，例如，每个像素事件的事件信息具体可以为一个四元组E（x,y,t,p），其中，x表示像素的横坐标，y表示像素的纵坐标，t表示时间信息，p表示像素捕捉到的视觉信息。例如，t可以具体为时间戳。例如，当p取+1时，可以指示检测到亮度变亮，当p取-1时，可以指示检测到亮度变暗。

因此，在本申请中，可以以E（x,y）表示产生像素事件E的像素的空间信息，具体地，可以以E（x）表示产生像素事件E的像素的横坐标，以E（y）表示产生像素事件E的像素的纵坐标，此外，可以以E（t）表示该像素产生像素事件E时对应的时间信息，可以以E（p）表示该像素产生像素事件E时所捕捉到的视觉信息，后面对此不作赘述。可选地，在实际应用中，可以将x、y称为像素事件的空间通道，将t称为像素事件的时间通道，并且，将p称为像素事件的极性通道。

因此，在本申请中，事件数据流为包括至少一个像素事件的事件数据的数据流。

获取视觉传感器采集到的事件数据流的方式可以有多种，例如，视觉传感器可以集成在终端中，并且，可以由该终端发送视觉传感器采集到的事件数据流。

值得注意的是，当视觉传感器为动态视觉传感器时，对于动态视觉传感器，其仅在像素接收到的亮度发生变化时，才生成对应的像素事件，并传播该像素事件。这样的话，可以确保接收到的数据是稀疏的，并且，在本申请中，接收到的数据都是与对象识别的任务相关的，因此，相较于基于帧的视觉方案，本申请中所需处理的数据量非常小，因此实现上更为高效。

102、根据时间信息与空间信息，确定像素事件之间的时空关联关系。

其中，时空关联关系用于描述像素事件在时间维度及空间维度上的关联关系。具体地，在本申请中，以视觉传感器为DVS为例，考虑到由目标对象所触发生成的像素事件，其在时间和空间上是具有相关性的，例如，所获取的事件数据流中，包括由目标对象所触发生成的至少一个像素事件的事件数据，这些像素事件对应的像素为相邻的像素，且这些像素事件为由这些像素在预设时间间隔内生成的。因此，在本申请中，可以基于像素事件之间的时空关联关系，来实现对象识别。

在本申请中，确定像素事件之间的时空关联关系的方式可以有多种，例如，可以利用预设数据结构作为记录、以及更新像素之间的时空关联关系的容器，这样的话，即可在实际应用中，量化地实现根据像素事件的时间信息与空间信息，确定像素事件之间的时空关联关系，并且，可以便于后续实现对象识别所需的相关步骤。

在一实施例中，可以利用掩膜来记录、以及更新像素之间的时空关联关系，具体地，步骤“根据时间信息与空间信息，确定像素事件之间的时空关联关系”，可以包括：

基于视觉传感器的参数信息，生成事件数据流的初始关联掩膜，初始关联掩膜包括至少一个信息单元，信息单元用于记录像素事件的时间信息；

对像素事件的空间信息进行信息压缩，得到压缩后空间信息；

根据压缩后空间信息，确定像素事件对应的目标信息单元；

根据像素事件的时间信息，对目标信息单元进行信息更新，以生成更新后关联掩膜，更新后关联掩膜表征像素事件之间的时空关联关系。

其中，掩膜（mask）为对像素事件进行处理的模板，例如，掩膜可以为对像素事件进行过滤的模板。本申请中掩膜的概念可以借鉴数字图像处理中掩膜的概念，具体地，在数字图像处理中，图像掩膜为使用选定的图像、图形或物体，对处理的图像进行全部或局部遮挡，以控制图像处理的区域或处理过程。

在本申请中，掩膜的形式可以有多种，例如，掩膜可以以矩阵的形式呈现，譬如，掩膜可以为二维矩阵M，其中具有若干个元素，每个元素可以作为一个信息单元，用于记录相关信息。

值得注意的是，在本申请中，当以二维矩阵M作为掩膜的示例时，掩膜中的每个元素可以用M（x,y）的形式表示，其中，x表示该元素在二维矩阵M中对应的行数，y表示该元素在二维矩阵M中对应的列数，也就是说，函数M（）可以用于确定掩膜M中的目标元素，对此，后面不对此作赘述。

在本申请中，关联掩膜为用于记录、以及更新像素事件之间的时空关联关系的掩膜。例如，关联掩膜的形式可以为二维矩阵M，其中具有若干个元素，每个元素可以作为一个信息单元，用于记录像素事件的时间信息。在本申请中，关联掩膜可以用于对事件数据流中的像素事件进行去噪，以去除事件数据流中的目标噪声。例如，可以将关联掩膜作为记录及更新像素事件之间的时空关联关系的容器，这样的话，即可通过对关联掩膜进行信息更新，以使得更新后关联掩膜表征像素事件之间的时空关联关系。

其中，视觉传感器的参数信息可以包括分辨率，信噪比等。

基于视觉传感器的参数信息，生成初始关联掩膜的方式可以有多种，例如，视觉传感器的参数信息可以为分辨率，关联掩膜的形式可以为矩阵，因此，可以根据视觉传感器的分辨率，确定待生成的初始关联掩膜的大小，以初始化所需的初始关联掩膜，进而生成该大小的初始关联掩膜，其中，该初始关联掩膜包括至少一个信息单元，例如每个信息单元可以具体为矩阵中的元素，其中可以用于记录像素事件的时间信息。

其中，对像素事件的空间信息进行信息压缩，指的是从空间维度实现压缩，以减少记录像素事件的时间信息所需的存储资源。例如，视觉传感器可以为动态视觉传感器，关联掩膜可以为矩阵的形式，可以设置若像素事件在视觉传感器上对应的像素满足预设的空间分布要求，则这些像素事件共享关联掩膜中的一个信息单元，该信息单元用于记录这些像素事件的时间信息。

作为示例，视觉传感器可以为DVS，关联掩膜可以为矩阵的形式，可以规定对于DVS上的像素，若其满足图3所示的空间分布要求，则这4个像素对应的像素事件将共享关联掩膜中的一个信息单元，用于记录像素事件的时间信息。值得注意的是，图3仅为空间分布要求的一个示例，在实际应用中，可以根据需求对像素在视觉传感器上的空间分布要求进行设置。

确定像素事件所对应的共享信息单元的方式可以有多种，例如，可以通过对像素事件的空间信息进行位运算来实现，具体地，步骤“对像素事件的空间信息进行信息压缩，得到压缩后空间信息”，可以包括：

对像素事件的空间信息进行位运算，以对像素事件的空间信息进行信息压缩；

基于运算结果，确定像素事件的压缩后空间信息。

其中，程序中的所有数在计算机内存中都是以二进制的形式储存的，位运算就是直接对整数在内存中的二进制位进行操作。位运算可以包括多种运算方式，例如可以包括与运算，或运算，异或运算，取反运算，移位运算等。其中，移位运算可以包括左移运算与右移运算。

在实际应用中，可以通过选择不同的运算方式，或者对多种运算方式进行组合，以对像素事件的空间信息进行位运算，从而对像素事件的空间信息进行信息压缩。

在前述示例中，可以以进一步地以位运算具体为移位运算，例如，右移运算为例作进一步地解释。其中，DVS的分辨率可以为128×128像素，对于像素事件E1（3,3,t1,p1）,其像素事件E1的空间信息为像素坐标（3, 3），可以通过对像素事件E1的空间信息进行位运算，例如右移运算，来对该空间信息进行信息压缩。具体地，3即为二进制下的0000 0011，可以通过将其右移一位得到0000 0001，即为十进制下的1，也就是说，空间信息（3, 3）进行信息压缩后，得到的压缩后空间信息为（1, 1）。

进一步地，可以根据压缩后空间信息，确定像素事件在初始关联掩膜中的目标信息单元。具体地，在上述示例中，像素事件的空间信息为（3, 3），对应的压缩后空间信息为（1,1），因此，可以确定该像素事件在初始关联掩膜中的目标信息单元即为M（1, 1）。

这样的话，即可根据像素事件的时间信息，对目标信息单元进行信息更新，以生成更新后关联掩膜。具体地，在该示例中，可以根据像素事件E1的时间信息，对M（1, 1）进行信息更新，也即M（1, 1）=t1。

在上述示例中，以具体像素事件E1为例，就基于像素事件E1的空间信息与时间信息对初始关联掩膜M进行信息更新进行解释。类似地，可以基于视觉传感器采集到的其他像素事件，对初始关联掩膜进行信息更新，以生成更新后关联掩膜，其中，由于更新后关联掩膜中的信息单元中记录了像素事件的时间信息，而像素事件在确定目标信息单元时，是基于空间信息压缩的映射关系确定的，因此，更新后关联掩膜表征了这些像素事件之间的时空关联关系。

在一实施例中，考虑到除了可以从空间维度上进行信息压缩，以减少记录像素事件的时间信息所需的存储资源，还可以从时间维度上进行信息压缩，以进一步节约所需的存储资源，具体地，步骤“根据像素事件的时间信息，对目标信息单元进行信息更新”，可以包括：

确定对事件数据流进行事件数据去噪处理所需的时间阈值参数；

根据时间阈值参数，对时间信息进行信息压缩，得到压缩后时间信息；

基于压缩后时间信息，对目标信息单元进行信息更新。

考虑到在实际应用中，由于视觉传感器的硬件原因，可以产生与像素采集到的视觉信息无关的像素事件，具体地，对于DVS，其中的像素可以产生与亮度变化无关的像素事件，该像素事件会导致噪声，例如，当将该像素事件以图像直方图的形式绘制时，即呈现为图像噪声。对于此类活动产生的噪声，会对对象识别产生影响，例如，将会降低识别小对象的准确率等，因此，我们可以通过对事件数据流进行事件数据去噪处理，以过滤掉此类活动产生的噪声。

在本申请中，可以基于像素事件之间的时空关联关系来实现事件数据去噪处理，具体地，若像素事件与在前的像素事件之间的时空相关性高于预设阈值，该像素事件则不会被过滤掉，否则，可以认为该像素事件为噪声，需要将其过滤掉。

其中，像素事件之间的时空相关性可以包括空间相关性与时间相关性，在实际应用中，可以设计相关的滤波器来实现事件数据去噪处理，具体地，该滤波器可以通过利用事件数据流的更新后关联掩膜，来实现事件数据去噪处理。并且，该滤波器可以通过参数n与参数dt_thr来判断计算像素事件之间的时空相关性。

具体地，参数n指定邻域大小，其用于供滤波器在更新后关联掩膜中确定待与像素事件的时间信息进行比较的信息单元的范围。作为示例，若关联掩膜接收到的最新像素事件为E1，且对像素事件E1的空间信息进行信息压缩后，确定像素事件E1在关联掩膜中的对应的目标信息单元如图4所示，则当参数n取2时，该滤波器将查看1001所示的空间范围内的时间信息，也就是说，参数n用于供滤波器校准判断像素事件的空间相关性的空间范围，在实际应用中，参数n也可以称为除法因子。

具体地，参数dt_thr指定邻域中的下一个像素事件在多长时间内被认为与邻域中的像素事件具有时间相关性，也即参数dt_thr是供滤波器校准判断像素事件的时间相关性的时间阈值参数。

其中，对像素事件的时间信息进行信息压缩，指的是从时间维度实现压缩，以减少记录像素事件的时间信息所需的存储资源，例如，可以通过移位运算来实现对像素事件的时间信息进行压缩。具体地，步骤“根据时间阈值参数，对时间信息进行信息压缩，得到压缩后时间信息”，可以包括：

根据时间阈值参数，确定时间信息的移位参数；

基于移位参数，对时间信息进行位运算，以对时间信息进行信息压缩；

基于运算结果，确定像素事件的压缩后时间信息。

其中，移位参数用于确定对像素事件的时间信息进行移位运算时，时间信息所需移动的位数，例如，若时间信息的移位参数为5，则可以通过将该时间信息对应的二进制数右移或左移5位，来对该时间信息进行移位运算。

在一实施例中，像素事件的时间信息具体可以为时间戳，在实际应用中，时间戳的分辨率具体可以为32位或64位等。例如，时间阈值参数dt_thr可以被设置为毫秒级的数值，则在基于时间阈值参数dt_thr对像素事件的时间戳进行时间相关性的判断时，时间戳的部分位并不是必须的。作为示例，时间阈值参数dt_thr可以设置为10000μs，其在硬件中可以用13位（对应于8192μs）或14位（对应于16384μs）表示，因此，在对时间戳进行时间相关性的判断时，可以将该数量的位从时间戳的最低有效位中抛出，也就是说，该数量即为移位参数，可以基于该移位参数，将时间戳进行右移运算，以实现对时间戳进行信息压缩，这样的话，就不需要存储时间戳的全部位数，而是仅需存储时间戳的部分有效位数，这里的部分有效位数，是基于通过时间阈值参数dt_thr对像素事件的时间信息进行时间相关性的判断所确定的。也就是说，本申请实现了根据时间阈值参数，对像素事件的时间信息进行信息压缩。在实际应用中，根据时间阈值参数确定的时间信息中待抛出的最低有效位数，也可以称为移位因子。

进一步地，基于压缩后时间信息，对目标信息单元进行信息更新，具体地，可以将压缩后时间信息记录在目标信息单元中，以实现对目标信息单元进行信息更新。

在上述示例中，若时间戳的分辨率具体为32位，且时间阈值参数dt_thr设置为10000，且在硬件中可以占用14位表示，因此，根据时间阈值参数，对时间戳进行压缩，可以抛 掉时间戳的14位最低有效位，用剩下的18位表示该时间戳，上述以18位表示的时间戳即为 压缩后时间戳。进一步地，可以将该压缩后时间戳记录在像素事件对应的目标信息单元中， 以实现对该目标信息单元进行信息更新。

在本申请中，通过空间压缩与时间压缩，可以有效地节省信息存储所需的资源。作为示例，视觉传感器可以为分辨率为128×128像素的DVS，时间戳的分辨率具体可以为32位，则未应用本申请所述的空间压缩与时间压缩方法前，存储该视觉传感器采集到的像素事件中的时间信息，所需的内存资源为128×128×32。而在应用本申请中所述的空间压缩与时间压缩方法后，例如，除法因子取2且移位因子取14后，存储该视觉传感器采集到的像素事件中的时间信息，所需的内存资源为64×64×18，这比未采用压缩之前减少了14%，因此，能够有效地节约信息存储所需的存储资源。

103、基于时空关联关系，对事件数据流进行事件数据去噪处理，得到处理后事件数据流，处理后事件数据流包括去噪后像素事件的事件数据。

基于像素事件之间的时空关联关系，对事件数据流进行事件数据去噪处理的实现方式可以有多种，例如，在本申请中，可以生成表征时空关联关系的关联掩膜，因此，可以利用该关联掩膜，对事件数据流进行事件数据去噪处理，具体地，步骤“基于时空关联关系，对事件数据流进行事件数据去噪处理”，可以包括：

确定表征时空关联关系的关联掩膜、以及对事件数据流进行事件数据去噪处理所需的时间阈值参数，关联掩膜包括至少一个信息单元；

基于像素事件的空间信息，从关联掩膜中确定像素事件的关联信息单元，关联信息单元与像素事件具有空间关联关系；

基于时间阈值参数与关联信息单元所记录的时间信息，对像素事件的时间信息进行校验；

根据校验结果，对像素事件进行事件数据去噪处理，以对事件数据流进行事件数据去噪处理。

其中，关于关联掩膜、事件数据去噪处理、时间阈值参数、以及信息单元的定义以及举例在步骤102中已经作了解释，在此不做赘述。

其中，像素事件的关联信息单元，指的是关联掩膜中与该像素事件具有空间关联关系的信息单元。

在本申请中，基于像素事件的空间信息，从关联掩膜中确定像素事件的关联信息单元的方式可以有多种，例如，可以对像素事件的空间信息进行信息压缩，以确定该像素事件在关联掩膜中的目标信息单元，并将该信息单元作为该像素事件的关联信息单元；又如，可以对像素事件的空间信息进行信息压缩，以确定该像素事件在关联掩膜中的目标信息单元后，将关联掩膜中与该目标信息单元具有邻域关系的信息单元，确定为该像素事件的关联信息单元；等等。

进一步地，可以基于时间阈值参数与关联信息单元所记录的时间信息，对像素事件的时间信息进行校验，具体地，作为示例，参见图5，可以通过将该像素事件的时间信息，与其关联信息单元中记录的时间信息进行比较，以确定该像素事件的事件数据去噪处理结果，例如，若该像素事件的时间信息与关联信息单元的时间信息之间的差值小于时间阈值参数，则该像素事件的事件数据去噪处理结果为通过，也即该像素事件的事件数据不会作为噪声被过滤掉；否则，则该像素事件的事件数据去噪结果为过滤，也即将该像素事件的事件数据从事件数据流中过滤掉。此外，参见图5可知，还可以根据该像素事件的时间信息，对关联掩膜进行更新，具体地，可以根据该像素事件的时间信息，对关联掩膜中该像素事件的关联信息单元中所记录的时间信息进行更新，以实现对关联掩膜进行更新。

在实际应用中，考虑到由于视觉传感器老化或其他设备原因，使得视觉传感器出现热像素现象，具体地，热像素对它们观察到的亮度变化的灵敏度降低，并且在相同的时间内比其他像素生成更多的像素事件。

由于热像素现象的存在，导致视觉传感器采集到的事件数据流中，可以包括由热像素生成的噪声事件所对应的事件数据，因此，可以在对事件数据流进行背景活动过滤之前，先将事件数据流中噪声事件对应的事件数据进行过滤，得到过滤后事件数据流，以使得能够基于像素事件之间的时空关联关系，对过滤后事件数据流进行事件数据去噪处理，以实现对过滤后事件数据流进行背景活动过滤。具体地，在步骤“基于时空关联关系，对事件数据流进行事件数据去噪处理”之前，对象识别方法还可以包括：

基于视觉传感器的参数信息，生成事件数据流的初始过滤掩膜；

基于像素事件的时间信息与空间信息，对初始过滤掩膜进行更新，得到更新后过滤掩膜；

通过更新后过滤掩膜，对事件数据流进行事件数据过滤处理，得到过滤后事件数据流；

这样的话，步骤“基于时空关联关系，对事件数据流进行事件数据去噪处理”，可以包括：基于时空关联关系，对过滤后事件数据流进行事件数据去噪处理。

其中，事件数据过滤处理指的是，将由热像素生成的像素事件所对应的事件数据，从事件数据流中过滤掉的处理，因此，可以通过对事件数据流进行事件数据过滤处理，以将热像素造成的噪声过滤掉。

其中，过滤掩膜为用于对事件数据流进行事件数据过滤处理的掩膜，因此，也可以将过滤掩膜称为热像素过滤器。与关联掩膜类似，过滤掩膜可以包括至少一个信息单元，其中，该信息单元用于存储执行事件数据过滤处理相关的信息。与关联掩膜类似，过滤掩膜的形式可以有多种，例如，过滤掩膜可以为矩阵的形式；又如，过滤掩膜可以为集合的形式；等等。

基于视觉传感器的参数信息，生成初始过滤掩膜的方式可以有多种，例如，可以基于视觉传感器的分辨率，来确定初始过滤掩膜的大小，进而生成初始过滤掩膜。例如，视觉传感器具体可以为DVS，过滤掩膜的形式可以为矩阵M，可以基于DVS的分辨率确定矩阵M的大小，进而生成初始过滤掩膜，作为示例，在本申请中，矩阵M的大小可以与DVS的分辨率相同。

在本申请中，可以对初始过滤掩膜进行更新，得到更新后过滤掩膜，以使得可以利用更新后掩膜实现对事件数据流执行事件数据过滤处理。

在本申请中，基于像素事件的时间信息与空间信息，对初始过滤掩膜进行更新的方式可以有多种，例如，参见图6，事件数据过滤处理可以包括观测阶段与过滤阶段，其中，观测状态用于对初始过滤掩膜进行更新，过滤状态用于通过更新后过滤掩膜来对事件数据流进行事件数据过滤处理。具体地，当检测到当前时间t_c等于过渡态阈值T_thr，则将由观测状态变为过滤状态。

在观测状态，可以基于各个像素事件的时间信息与空间信息，对初始过滤掩膜进行更新。作为示例，视觉传感器可以为DVS，初始过滤掩膜可以为M，且M与DVS的分辨率相同，即初始过滤掩膜M具体可以为二维矩阵的形式，可以参照式(1)，来实现基于像素事件的时间信息与空间信息，对初始过滤掩膜M进行更新：

（1）

其中，T_thr为过渡态阈值，由于对于像素事件E，可以用四元组E(x,y,t,p)表示E的事件信息，其中x表示像素的横坐标，y表示像素的纵坐标，t表示时间信息，p表示像素捕捉到的视觉信息，因此，E(x)为产生像素事件E的像素的横坐标，E(y)表示产生像素事件E的像素的纵坐标，E(t)表示该像素产生像素事件E时对应的时间信息。此外，函数M（）用以确定初始过滤掩膜M中的目标元素。

因此，在该示例中，过滤掩膜中的信息单元用于记录像素事件的事件计数。值得注意的是，在实际应用中，观察阶段应先于动态视觉传感器视野内的运动开始，以便进行适当校准。

进一步地，当检测到时间等于过渡态阈值T_thr，可以由观测状态转变为过渡状态，并且，可以将该时刻的M作为更新后过滤掩膜，以使得可以在过渡状态通过更新后过滤掩膜，来实现对事件数据流进行事件数据过滤处理。

在本申请中，通过更新后过滤掩膜，对事件数据流进行事件数据过滤处理的方式可以有多种，例如，可以根据像素事件的空间信息，从更新后过滤掩膜中确定目标信息单元，并对目标信息单元中所存储的信息进行校验，若校验通过，则确定该像素事件不会被过滤，否则，则将该像素事件过滤，从而得到过滤后事件数据流。

作为示例，视觉传感器可以为DVS，初始过滤掩膜可以为矩阵M，且M与DVS的分辨率相同，M中的信息单元用于记录像素事件的事件计数，则在过滤阶段，可以参照式2，来实现更新后过滤掩膜，对事件数据流进行事件数据过滤处理：

（2）

其中，C_thr为事件计数阈值，由于对于像素事件E，可以用四元组E(x,y,t,p)表示E的事件信息，其中x表示像素的横坐标，y表示像素的纵坐标，t表示时间信息，p表示像素捕捉到的视觉信息，因此，E(x)为产生像素事件E的像素的横坐标，E(y)表示产生像素事件E的像素的纵坐标。此外，函数M（）用以确定初始过滤掩膜M中的目标元素，pass表示像素事件E通过，filter表示像素事件E被过滤。

也就是说，在过滤阶段，如果DVS中像素触发的像素事件的次数超过事件计数阈值C_thr，则该像素事件会被过滤（对应于式（2）中的filter）掉，否则，该像素事件即可通过热像素过滤器（对应于式（2）中的pass）。因此，在该示例中，该热像素过滤器为基于事件计数的低通滤波器。

在通过更新后过滤掩膜对事件数据流进行数据过滤处理，得到过滤后事件数据流后，即可进一步地，基于像素事件之间的时空关联关系，对过滤后事件数据流进行事件数据去噪处理。在本申请中，步骤“基于时空关联关系，对过滤后事件数据流进行事件数据去噪处理”的实现方式，可以参考步骤“基于时空关联关系，对事件数据流进行事件数据去噪处理”的实现方式，在此不作赘述。

104、根据去噪后像素事件的空间信息，计算去噪后像素事件的距离特征。

由于聚类处理是将物理或抽象对象的集合分成由类似的对象组成的多个类的过程，并且，经过聚类处理后所生成的聚类（也可以称为簇）是一组数据对象的集合，这些对象与同一个簇中的对象彼此相似，与其他簇中的对象相异。因此，在本申请中，对去噪后像素事件进行聚类处理，本质上为对去噪后像素事件进行分组，确定去噪后像素事件所属聚类的过程。而确定去噪后像素事件所属聚类的方式，是通过计算去噪后像素事件与各聚类之间的距离来决定的，因此去噪后像素事件与各聚类之间的距离即为去噪后像素事件的距离特征。

由于去噪后像素事件的距离特征，表征的是去噪后像素事件与各聚类之间的距离，因此，在计算去噪后像素事件的距离特征时，除了需要考虑到去噪后像素事件的空间信息以外，还需要将各聚类的聚类特征信息考虑在内，例如，聚类的聚类中心信息，聚类形状信息，等等。具体地，步骤“根据去噪后像素事件的空间信息，计算去噪后像素事件的距离特征”，可以包括：

确定去噪后像素事件的初始聚类集合，初始聚类集合包括至少一个初始聚类，初始聚类基于历史像素事件生成；

获取初始聚类的聚类特征信息；

根据去噪后像素事件的空间信息与聚类特征信息，计算去噪后像素事件与初始聚类之间的距离特征。

其中，去噪后像素事件的历史像素事件指的是在时间维度上，先于去噪后像素事件生成的像素事件。

其中，去噪后像素事件的初始聚类集合为基于该去噪后像素事件的历史像素事件生成的聚类集合，具体地，可以对历史像素事件进行聚类处理，得到至少一个初始聚类，进而生成初始聚类集合。

在本申请中，基于历史像素事件生成初始聚类的方式可以有多种，例如，可以基于均值漂移算法生成，其中，均值漂移算法是一种基于密度梯度上升的非参数方法，可以通过迭代运算找到目标位置，实现目标跟踪。

又如，可以在均值漂移算法的基础上，增加新的特征，得到改进后算法，并基于改进后算法对历史像素事件进行聚类处理，得到初始聚类集合。作为示例，均值漂移算法中，规定各聚类的形状为圆形，这使得在对像素事件进行对象识别的过程中，进行聚类处理的组件成为一个圆形跟踪器。在本申请中，考虑到圆形跟踪器会影响聚类精确度，进而影响对象识别的准确度，因此，在对历史像素事件进行聚类处理时，除了圆形跟踪器，本申请还提出了增加多种形状的跟踪器，例如，椭圆跟踪器与矩形跟踪器等，以使得能够更加精确地对历史像素事件进行聚类处理，以生成历史像素时间的初始聚类集合。

在确定去噪后像素事件的初始聚类集合后，进一步地，可以获取初始聚类集合中初始聚类的聚类特征信息。

其中，初始聚类的聚类特征信息为描述初始聚类的聚类特征的相关信息，聚类特征可以包括聚类位置，聚类形状，聚类大小，聚类旋转角度，聚类速度等。

在本申请中，考虑到聚类的形状不仅拘泥于圆形，而是可以包括多种情况，因此，计算去噪后像素事件与初始聚类之间的距离特征时，所需聚类特征信息也可以基于聚类形状的不同情况而定，具体地，步骤“获取初始聚类的聚类特征信息”，可以包括：

确定初始聚类对应的聚类形状；

基于聚类形状，获取初始聚类的聚类特征信息。

作为示例，在计算去噪后像素事件与初始聚类之间的距离特征时，若初始聚类对应的聚类形状为椭圆，则可以参照式（3）：

（3）

其中，在式（3）中，C_l指的是椭圆聚类的位置，C_s指的是椭圆聚类的大小，而SM可以设置为C_s的倍数，由于对于像素事件E，可以用四元组E(x,y,t,p)表示E的事件信息，其中x表示像素的横坐标，y表示像素的纵坐标，t表示时间信息，p表示像素捕捉到的视觉信息，因此，E(x)为产生像素事件E的像素的横坐标，E(y)表示产生像素事件E的像素的纵坐标。可知，所需获取的聚类特征信息可以包括该椭圆聚类的位置信息、大小信息等。

若初始聚类对应的聚类形状为矩形，则可以参照式（4）：

（4）

其中，在式（4）中，C_l指的是矩形聚类的位置，C_s指的是矩形聚类的大小，而SM是参数大小的倍数，由于对于像素事件E，可以用四元组E(x,y,t,p)表示E的事件信息，其中x表示像素的横坐标，y表示像素的纵坐标，t表示时间信息，p表示像素捕捉到的视觉信息，因此，E(x)为产生像素事件E的像素的横坐标，E(y)表示产生像素事件E的像素的纵坐标。可知，所需获取的聚类特征信息可以包括该矩形聚类的位置信息、大小信息等。

值得注意的是，在实际应用中，聚类形状还可以包括多种情况，则计算去噪后像素事件与初始聚类之间的距离特征时，所需获取的初始聚类的特征信息可以对应地变化。可选地，还可以将聚类旋转角度，聚类速度等考虑在内。

进一步地，即可根据去噪后像素事件的空间信息与聚类特征信息，计算去噪后像素事件与初始聚类之间的距离特征。

作为示例，式（3）描述了通过不等式的左边部分计算去噪后像素事件与该椭圆聚类之间的距离，并且，式（3）描述了通过判断像素事件是否位于围绕聚类中心的一个椭圆区域，来确定该像素事件是否在一个椭圆聚类的搜索距离，以确定该像素事件是否属于该椭圆聚类。

类似地，式（4）描描述了通过不等式的左边部分判断去噪后像素事件与该矩形聚类之间的距离，并且，式（4）描述了通过判断像素事件是否位于围绕聚类中心的一个矩形区域，来确定该像素事件是否在一个矩形聚类的搜索距离，以确定该像素事件是否属于该矩形聚类。

此外，相较于单一的圆形聚类与简单的距离计算方式，本申请不仅提出了更多样形状的聚类，还就如何更高效地计算像素事件与聚类之间的距离，提出了改进方式。例如，考虑到初始聚类的聚类特征信息可以包括该初始聚类在至少一个特征维度下的聚类特征，因此，可以通过对特征维度进行调整、以及对聚类特征进行调整等方式，以使得可以基于调整结果来计算去噪后像素事件与初始聚类之间的距离特征，以下将分别进行阐述。

在一实施例中，步骤“根据去噪后像素事件的空间信息与聚类特征信息，计算去噪后像素事件与初始聚类之间的距离特征”，可以包括：

从初始聚类的至少一个中，确定待调整的目标特征维度、以及目标特征维度的调整参数；

基于调整参数，对去噪后像素事件的空间信息与聚类特征信息进行信息转换；

根据转换后的空间信息与转换后的聚类特征信息，计算去噪后像素事件与初始聚类之间的距离特征。

其中，初始聚类的特征维度为与该初始聚类的聚类特征所相关的维度，作为示例，初始聚类的聚类特征可以包括聚类位置，例如，初始聚类的聚类位置可以使用该初始聚类的聚类中心在参照坐标系中的坐标信息来确定，如（x,y），其中x可以表示聚类中心在x轴上对应的位置信息，y可以表示聚类中心在y轴上对应的位置信息，因此，在该示例中，对于聚类位置这个聚类特征，其具有两个相关的特征维度。

作为另一示例，初始聚类的聚类特征可以包括聚类角度，例如，若初始聚类的聚类 形状为沿聚类中心对称的（例如矩形，椭圆形等），则初始聚类的聚类角度满足：，因此，在该实例中，对于聚类角度这个聚类特征，其具有一个相关的特征维 度。

在本申请中，可以将与计算距离特征有关的特征维度，作为目标特征维度。例如，参考式（3）可知，在计算去噪后像素事件与椭圆初始聚类之间的距离特征时，所涉及的特征维度包括与位置信息相关的特征维度、以及与聚类大小相关的维度，则可以将这它们作为目标特征维度。

其中，目标特征维度的调整参数为对目标特征维度进行调整所需的相关参数，对目标特征维度进行调整的方式可以有多种，例如，可以通过调整目标特征维度的尺度来对目标特征维度进行调整，则调整参数则可以为尺度调整的比例参数。举例来说，若目标特征维度为与距离相关的特征维度，例如表征坐标轴上的位置信息，则可以通过放大或缩小该坐标轴的尺度，来对该目标特征维度进行调整。又如，还可以借鉴深度学习中的嵌入方法，通过将目标特征维度映射为其他特征维度，以实现对目标特征维度进行调整，这样的话，目标特征维度下的聚类特征即可相应地转换成其他特征维度下的聚类特征，如向量等，在该例子中，调整参数可以为实现映射所需的相关参数，例如，可以为矩阵等。

确定目标特征维度的调整参数的方式可以有多种，可以由人为设定，也可以根据聚类特征信息设定，例如，可以根据初始聚类的聚类形状确定。

在确定目标特征维度、以及调整参数后，即可基于调整参数，对去噪后像素事件的空间信息与聚类特征信息进行信息转换。具体地，由于目标特征维度为与计算距离特征有关的特征维度，而在计算去噪后像素事件与初始聚类之间的距离特征时，需要将去噪后像素事件的空间信息考虑在内，因此，可以参照基于调整参数对目标特征维度进行调整的方式，适应性地对去噪后像素事件的空间信息、以及聚类特征信息与计算距离特征相关的聚类特征，进行信息转换。例如，参见图3，可以参照基于调整参数对目标特征维度进行调整的方式，适应性地对去噪后像素事件的坐标信息（包括E(x)与E(y)）、以及初始聚类的聚类特征信息（包括位置信息：C_l(x)与C_l(y)；大小信息：C_s(x)与C_s(y)；其他参数信息：参数大小的倍数SM）进行调整。

进一步地，即可根据转换后的空间信息与转换后的聚类特征信息，计算去噪后像素事件与初始聚类之间的距离特征。例如可以参考式（3）中不等式的左边部分来计算距离特征。

在另一实施例中，可以以目标特征维度具体为与初始聚类的参照坐标系相关的维度为例，具体地，步骤“根据去噪后像素事件的空间信息与聚类特征信息，计算去噪后像素事件与初始聚类之间的距离特征”，可以包括：

确定初始聚类的参照坐标系中待缩放的坐标轴、以及坐标轴的缩放参数；

基于缩放参数，对去噪后像素事件的空间信息与聚类特征信息进行信息转换；

根据转换后的空间信息与转换后的聚类特征信息，计算去噪后像素事件与初始聚类之间的距离特征。

确定初始聚类的参照坐标系中待缩放的坐标轴的方式可以有多种，例如，可以基于初始聚类的聚类形状来确定待缩放的坐标轴。以初始聚类的聚类形状为椭圆为例，若该初始聚类的长轴与x轴平行，则可以确定待缩放的坐标轴为x轴；若该初始聚类的长轴与y轴平行，则可以确定待缩放的坐标轴为y轴。

确定坐标轴的缩放参数的方式可以有多种，例如，可以根据初始聚类的聚类大小来确定缩放参数。以初始聚类的聚类形状为椭圆为例，可以将该初始聚类的短轴与长轴之比作为缩放比例。

在确定待缩放的坐标轴、以及坐标轴的缩放参数后，即可基于缩放参数，对去噪后像素事件的空间信息与聚类特征信息进行信息转换。

以初始聚类的形状为椭圆作为示例，参见图7，对于去噪后像素事件E2，在计算去噪后像素事件E2与椭圆聚类之间的距离时，可以根据表征聚类大小的参数C_s，将坐标系进行缩放，以将去噪后像素事件E2与椭圆聚类之间距离的计算，转换为去噪后像素事件E与圆形聚类之间距离的计算。具体地，由于该椭圆聚类的长轴平行于x轴，因此，可以将x轴作为待缩放的坐标轴，并且，可以将椭圆聚类的短轴与长轴之比，即C_s(y)/ C_s(x)作为缩放参数。然后可以根据该缩放参数将x轴进行缩放。并且，可以适应性地基于该缩放参数，对去噪后像素事件E2与椭圆聚类的聚类特征信息进行信息转换，以使得在缩放后的坐标系中，椭圆聚类转换为圆形聚类，去噪后像素事件也由去噪后像素事件E2转换为调整后的去噪后像素事件E2’。这样的话，即可通过判断调整后的去噪后像素事件E2’是否落入圆形聚类的半径周围的区域内，来确定去噪后像素事件是否落入原始聚类内。

在本申请中，除了可以通过对特征维度进行调整以外，还可以通过对聚类特征进行调整，以基于调整结果来计算去噪后像素事件与初始聚类之间的距离特征。具体地，步骤“根据去噪后像素事件的空间信息与聚类特征信息，计算去噪后像素事件与初始聚类之间的距离特征”，可以包括：

从聚类特征中，确定待调整的目标聚类特征、以及目标聚类特征的调整参数；

基于调整参数，对去噪后像素事件的空间信息与目标聚类特征进行信息转换；

根据转换后的空间信息与转换后的目标聚类特征，计算去噪后像素事件与初始聚类之间的距离特征。

在本申请中，可以将初始集群的聚类特征中与计算距离特征有关的聚类特征，作为待调整的目标聚类特征，例如，目标聚类特征可以包括聚类位置，聚类形状，聚类大小，聚类角度，聚类速度。

其中，目标聚类特征的调整参数为对目标聚类特征进行调整所需的相关参数，基于目标聚类特征的不同，对目标聚类特征进行调整的方式可以相应地变化。例如，对聚类位置进行调整，可以通过改变聚类位置来实现，则调整参数可以为目标位置的位置信息，或者目标位置相较于当前位置的增量信息等；又如，对聚类角度进行调整，可以通过改变聚类角度来实现，则调整参数可以为目标角度的角度信息，或者目标角度相较于当前角度的增量信息等。

在确定待调整的目标聚类特征、以及目标聚类特征的调整参数后，即可进一步地，基于调整参数对目标聚类特征进行调整，以实现对目标聚类特征进行信息转换。并且，可以基于调整参数，对应地对去噪后像素事件的空间信息进行信息转换，以使得可以根据转换后的空间信息与转换后的聚类特征信息，计算去噪后像素事件与初始聚类之间的距离特征。

在另一实施例中，可以以目标聚类特征具体为聚类角度特征为例，具体地，步骤“根据去噪后像素事件的空间信息与聚类特征信息，计算去噪后像素事件与初始聚类之间的距离特征”，可以包括：

确定初始聚类的旋转角度特征、以及旋转角度特征的调整参数；

基于调整参数，对去噪后像素事件的空间信息与旋转角度特征进行信息转换；

根据转换后的空间信息与转换后的旋转角度特征，计算去噪后像素事件与初始聚类之间的距离特征。

由于本申请中在圆形聚类的基础上，还实现了不同形状的聚类，因此，为了提高聚类处理的精确度，本申请还为各聚类添加了旋转角度的特征，以使得各形状的聚类能够进行旋转，从而更好地契合识别到的去噪后像素事件集合的真实形状。进一步地，可以将初始聚类的旋转角度进行调整，并对去噪后像素事件的空间信息进行适应性调整，以使得可以通过计算调整后的去噪后像素事件与调整后的初始聚类之间距离特征，来计算去噪后像素事件与初始聚类之间的距离特征。

以椭圆聚类为示例，图8中的左图展示了具有旋转角度特征的椭圆聚类。进一步地，在对聚类添加了旋转角度特征的基础上，为了方便计算去噪后像素事件的距离特征，可以对椭圆聚类进行旋转，具体地，以椭圆聚类为示例，参见图8，可以获取椭圆聚类的旋转角度，并基于该旋转角度确定旋转角度特征的调整参数，以使得基于该调整参数对椭圆聚类进行旋转，能够使得旋转后的椭圆聚类的长轴与坐标轴平行，并且，可以基于椭圆聚类的调整参数，对应地对去噪后像素事件E2的坐标信息进行调整，使得调整后的去噪后像素事件E2’如图8中右图所示。

进一步地，可以根据转换后的空间信息与转换后的旋转角度特征，计算去噪后像素事件与初始聚类之间的距离特征。在上述示例中，即为根据调整后的去噪后像素事件E1的坐标信息与转换后椭圆聚类的聚类特征信息，来计算调整后的去噪后像素事件E1与转换后椭圆聚类之间的距离特征，例如，可以通过参照式（3）中不等式的左边部分来计算距离特征，这样的话，相比旋转前，可减小计算距离特征所需的计算量，从而提高计算效率。

105、基于距离特征对去噪后像素事件进行聚类处理，得到聚类结果。

在计算得到去噪后像素事件与各初始聚类之间的距离后，即可得到该去噪后像素事件的距离特征，进一步地，即可基于距离特征，对去噪后像素事件进行聚类处理，以确定该去噪后像素事件所属的目标聚类。

在本申请中，除了可以基于距离特征对去噪后像素事件进行聚类处理，确定去噪后像素事件所属的目标聚类以外，还可以进一步地对目标聚类进行更新，进而对初始聚类集合进行更新，以确定所获取的事件数据流对应的聚类结果。

具体地，步骤“基于距离特征对去噪后像素事件进行聚类处理，得到聚类结果”，可以包括：

基于距离特征，从去噪后像素事件的初始聚类集合中，确定去噪后像素事件的目标聚类，初始聚类集合包括至少一个初始聚类，初始聚类基于历史像素事件生成；

根据去噪后像素事件的空间信息，对目标聚类进行更新，得到更新后目标聚类；

基于更新后目标聚类，对初始聚类集合进行更新，以根据初始聚类集合的更新结果，确定聚类结果。

在本申请中，去噪后像素事件的距离特征表征该去噪后像素事件与各初始聚类之间的距离，因此，基于距离特征，从去噪后像素事件的初始聚类集合中，确定该去噪后像素事件的目标聚类的方式可以有多种。例如，可以将与去噪后像素事件之间的距离最小的初始聚类，作为该去噪后像素事件的目标聚类。

又如，可以将初始聚类的形状及聚类大小考虑在内，具体地，由于初始聚类为具有一定形状与大小的聚类，因此，若去噪后像素事件落入初始聚类的聚类范围内，则可以将该初始聚类作为该去噪后像素事件的候选聚类，进一步地，可以从去噪后像素事件的候选聚类中确定该去噪后像素事件的目标聚类，例如，可以将与去噪后像素事件之间的距离最小的候选聚类，作为该去噪后像素事件的目标聚类。

特殊地，若未能基于距离特征，从去噪后像素事件的初始聚类集合中，确定去噪后像素事件的目标聚类，则可以基于该像素事件，生成新的聚类，并将该生成的聚类作为该像素事件的目标聚类。作为示例，参见图9，可以生成一个以该去噪后像素事件为聚类中心的新聚类，并将该新聚类作为该去噪后像素事件的目标聚类。

在确定去噪后像素事件的目标聚类后，即可根据去噪后像素事件的空间信息，对目标聚类进行更新。例如，可以根据去噪后像素事件的空间信息，对目标聚类的聚类位置、聚类大小、聚类旋转角度、聚类中的像素事件数、聚类活跃度、以及聚类速度等聚类特征进行更新，以得到更新后的目标聚类。

进一步地，可以基于更新后的目标聚类，对初始聚类集合进行更新，以得到事件数据流的聚类结果，具体地，步骤“基于更新后目标聚类，对初始聚类集合进行更新，以根据初始聚类集合的更新结果，确定聚类结果”，可以包括：

基于更新后目标聚类，对初始聚类集合进行更新，以得到更新后聚类集合；

确定更新后聚类集合中的活跃聚类，并计算活跃聚类之间的聚类距离；

若聚类距离满足预设距离条件，则对活跃聚类进行聚类合并处理，以得到处理后聚类集合；

根据处理后聚类集合，确定聚类结果。

在本申请中，基于更新后的目标聚类，对初始聚类集合进行更新的方式可以有多种，例如，可以基于更新后的目标聚类，判断是否需要对初始聚类集合中的聚类进行聚类合并。具体地，可以规定若两个活跃的聚类之间的聚类距离满足预设距离条件，则将这两个聚类合并为一个聚类，其中，合并后聚类的聚类特征可以基于这两个聚类的聚类特征确定，例如，聚类特征可以包括聚类位置，聚类旋转角度等。作为示例，若聚类1与聚类2均为活跃的聚类，且聚类1与聚类2之间的聚类距离满足预设距离条件，则可以将聚类1与聚类2合并为聚类3，其中，聚类3的聚类特征是通过计算聚类1的聚类特征与聚类2的聚类特征的算数平均值得到。

又如，可以在得到更新后的目标聚类后，规定在预设时间间隔内，不具活跃度（即在预设时间间隔内未接收到任何像素事件）的聚类，将被从初始聚类集合中移除。

在本申请中，基于更新后目标聚类，对初始聚类集合进行更新后，即可根据初始聚类集合的更新结果，确定事件数据流的聚类结果，例如，确定事件数据流中的各像素事件所属的聚类。

106、根据聚类结果，对基于神经网络的对象识别模型进行训练，得到基于脉冲神经网络的训练后对象识别模型，以通过训练后对象识别模型识别聚类结果对应的对象。

其中，脉冲神经网络经常被誉为第三代人工神经网络。第一代神经网络是感知器，第二代神经网络包括比较广泛，包括应用较多的BP神经网络。但是从本质来讲，这些神经网络都是基于神经脉冲的频率进行编码。脉冲神经网络，其模拟神经元更加接近实际，除此之外，把时间信息的影响也考虑其中。思路是这样的，动态神经网络中的神经元不是在每一次迭代传播中都被激活（而在典型的多层感知机网络中却是），而是在它的膜电位达到某一个特定值才被激活。当一个神经元被激活，它会产生一个信号传递给其他神经元，提高或降低其膜电位。

在脉冲神经网络中，神经元的当前激活水平（被建模成某种微分方程）通常被认为是当前状态，一个输入脉冲会使当前这个值升高，持续一段时间，然后逐渐衰退。出现了很多编码方式把这些输出脉冲序列解释为一个实际的数字，这些编码方式会同时考虑到脉冲频率和脉冲间隔时间。

在本申请中，可以通过基于脉冲神经网络的训练后对象识别模型，来识别聚类结果对应的对象，具体地，步骤“根据聚类结果，对基于神经网络的对象识别模型进行训练，得到基于脉冲神经网络的训练后对象识别模型”，可以包括：

根据聚类结果，生成模型训练所需的样本数据；

通过样本数据，对基于神经网络的对象识别模型进行训练，得到与神经网络对应的训练后模型；

基于神经网络对应的训练后模型，生成基于脉冲神经网络的训练后对象识别模型。

其中，样本数据的形式可以有多种，具体可以基于待训练的对象识别模型的模型类型来确定。例如，待训练的对象识别模型可以为卷积神经网络（Convolutional NeuralNetworks, CNN）模型，则样本数据可以为图像类型数据；又如，待训练的对象识别模型可以为处理时间序列数据的神经网络，则样本数据可以为时间序列类型数据；等等。

作为示例，待训练的对象识别模型可以为CNN模型，则样本数据可以为图像类型数据，具体地，可以根据聚类结果，获取所属同一聚类中的像素事件的事件数据，并根据该事件数据生成对应的样本图像，其中，图10即为生成样本图像的一个示例。在实际应用中，还可以通过利用数据扩充技术，来获取足够数量、以及足够多样的样本数据，例如，可以通过对生成的样本图像进行平移或旋转等图像处理操作，得到处理后的样本数据，以扩充样本数据集。

进一步地，可以通过样本数据，对基于神经网络的对象识别模型进行训练，得到与神经网络对应的训练后模型。例如，可以基于CNN构建待训练的对象识别模型，并通过样本图像，对该对象识别模型进行训练，以得到训练后的CNN模型。又如，可以基于SNN构建待训练的对象识别模型，并通过样本数据，对该对象识别模型进行训练，以得到训练后的SNN模型。

进而，即可基于神经网络对应的训练后模型，生成基于脉冲神经网络的训练后对象识别模型。例如，若训练后模型为CNN模型，则可以将该CNN模型转换为SNN模型，以得到基于脉冲神经网络的训练后对象识别模型。又如，若训练后模型为SNN模型，则可以将该训练后模型作为基于脉冲神经网络的训练后对象识别模型。

由上可知，本实施例可以获取视觉传感器采集到的事件数据流，事件数据流包括至少一个像素事件的事件数据，事件数据包括像素事件的时间信息和空间信息；根据时间信息与空间信息，确定像素事件之间的时空关联关系；基于时空关联关系，对事件数据流进行事件数据去噪处理，得到处理后事件数据流，处理后事件数据流包括去噪后像素事件的事件数据；根据去噪后像素事件的空间信息，计算去噪后像素事件的距离特征；基于距离特征对去噪后像素事件进行聚类处理，得到聚类结果；根据聚类结果，对基于神经网络的对象识别模型进行训练，得到基于脉冲神经网络的训练后对象识别模型，以通过训练后对象识别模型识别聚类结果对应的对象。

该方案是基于视觉传感器采集到的事件数据流来实现对象识别的，这与基于图像帧实现对象识别的方法相比，能够大大节约所需的资源。具体地，图像帧中包括了全部的视觉信息，具体包括与对象识别任务有关的数据、以及与对象识别任务无关的数据，因此，基于图像帧的对象识别方法具有较大的数据冗余的问题。这样的话，基于图像帧的对象识别方案从边缘设备（例如相机）获取数据并传输预测值时，将会消耗大量的网络带宽；并且，基于图像帧的对象识别方法对存储资源的需求较为庞大；此外，考虑到处理帧数据所需消耗的时间，使得传统方法通常只能支持较低的帧速率。这也使得在线部署时更难对场景中快速移动的对象进行识别。

而本方案是基于离散的事件数据来实现对象识别的，因此，本方案能够有效地解决数据冗余的问题，这样的话，由于减小了数据总量，也因而节约了数据传递时所需的网络带宽，并减小了对存储资源的需求；此外，该方案本质上由像素事件驱动进行对象识别，因此，在线部署时无需存储或收集数据帧，能够高效地实时操作。因此，本方案在进行对象识别时，能够在资源和功耗方面达到更高效的效果，从而提高对象识别的效率。

此外，本方案针对事件数据去噪处理还提出了多样的压缩方法，以减小实现对象识别之前数据预处理环节所需的存储资源，此外，本方案针对聚类处理的方式还提出了多种改进措施，例如生成多样的聚类跟踪器，以更好地拟合聚类结果并提高聚类准确度，又如提出包括聚类合并与聚类移除的聚类集合更新方法，以及时更新事件数据流的聚类结果，从而更加准确地基于聚类结果实现对象是被。

另外，本方案可以使用动态视觉传感器，该传感器能够运行在紧凑、低功耗的神经形态硬件或/和现场可编程逻辑门阵列FPGA上，并且，本方案是基于像素事件来进行对象识别的，因此，能够解决在实现目标检测和识别上的问题，并在在资源和功耗方面达到更高效的效果。

根据上面实施例所描述的方法，以下将举例进一步详细说明。

如图11所示，一种对象识别方法，具体流程如下：

S201、视觉传感器采集事件数据流，事件数据流包括至少一个像素事件的事件数据，事件数据包括像素事件的时间信息和空间信息。

202、根据时间信息与空间信息，确定像素事件之间的时空关联关系。

203、基于时空关联关系，对事件数据流进行事件数据去噪处理，得到处理后事件数据流，处理后事件数据流包括去噪后像素事件的事件数据。

204、根据去噪后像素事件的空间信息，计算去噪后像素事件的距离特征。

205、基于距离特征对去噪后像素事件进行聚类处理，得到聚类结果。

206、根据聚类结果，对基于神经网络的对象识别模型进行训练，得到基于脉冲神经网络的训练后对象识别模型，以通过训练后对象识别模型识别聚类结果对应的对象。

在实际应用中，若视觉传感器具体为DVS，则参考图12可知，可以应用本申请实施例所述的对象识别的方法，将对象识别方法流程具体解耦为以下几个模块：DVS传感器、噪声滤波器、聚类追踪器、以及SNN分类器。其中，DVS传感器可以用于采集事件数据流，噪声滤波器可以用于对采集到的事件数据流进行事件数据去噪处理，聚类追踪器可以用于对去噪后像素事件进行聚类处理，SNN分类器可以用于基于聚类结果进行对象识别。

可选地，可以参照图13所示的流程，来对本申请所述的对象识别方法进行进一步地改进，以实现数据的并行处理，从而进一步地提高对象识别的效率与准确率。

由上可知，本申请实施例是基于离散的事件数据来实现对象识别的，因此，本方案能够有效地解决数据冗余的问题，由于减小了数据总量，也因而节约了数据传递时所需的网络带宽，并减小了对存储资源的需求；此外，该方案本质上由像素事件驱动进行对象识别，因此，在线部署时无需存储或收集数据帧，能够高效地实时操作。因此，本方案在进行对象识别时，能够在资源和功耗方面达到更高效的效果，从而提高对象识别的效率。此外，本申请实施例还提出了数据并行处理的处理方式，能够进一步提高对象识别的效率与准确率。

为了更好地实施以上方法，相应的，本申请实施例还提供一种对象识别装置，其中，该对象识别装置可以集成在终端中。

例如，如图14所示，该对象识别装置可以包括获取单元301，确定单元302，去噪单元303，计算单元304，聚类单元305以及训练单元306，如下：

获取单元301，可以用于获取视觉传感器采集到的事件数据流，所述事件数据流包括至少一个像素事件的事件数据，所述事件数据包括所述像素事件的时间信息和空间信息；

确定单元302，可以用于根据所述时间信息与所述空间信息，确定所述像素事件之间的时空关联关系；

去噪单元303，可以用于基于所述时空关联关系，对所述事件数据流进行事件数据去噪处理，得到处理后事件数据流，所述处理后事件数据流包括去噪后像素事件的事件数据；

计算单元304，可以用于根据所述去噪后像素事件的空间信息，计算所述去噪后像素事件的距离特征；

聚类单元305，可以用于基于所述距离特征对去噪后像素事件进行聚类处理，得到聚类结果；

训练单元306，可以用于根据所述聚类结果，对基于神经网络的对象识别模型进行训练，得到基于脉冲神经网络的训练后对象识别模型，以通过所述训练后对象识别模型识别所述聚类结果对应的对象。

在一实施例中，所述确定单元302，可以包括：

掩膜生成子单元，可以用于基于所述视觉传感器的参数信息，生成所述事件数据流的初始关联掩膜，所述初始关联掩膜包括至少一个信息单元，所述信息单元用于记录像素事件的时间信息；

空间压缩子单元，可以用于对所述像素事件的空间信息进行信息压缩，得到压缩后空间信息；

第一确定子单元，可以用于根据所述压缩后空间信息，确定所述像素事件对应的目标信息单元；

信息更新子单元，可以用于根据所述像素事件的时间信息，对所述目标信息单元进行信息更新，以生成更新后关联掩膜，所述更新后关联掩膜表征像素事件之间的时空关联关系。

在一实施例中，所述信息更新子单元，可以用于：

确定对所述事件数据流进行事件数据去噪处理所需的时间阈值参数；根据所述时间阈值参数，对所述时间信息进行信息压缩，得到压缩后时间信息；基于所述压缩后时间信息，对所述目标信息单元进行信息更新。

在一实施例中，所述信息更新子单元，可以具体用于：

根据所述时间阈值参数，确定所述时间信息的移位参数；基于所述移位参数，对所述时间信息进行位运算，以对所述时间信息进行信息压缩；基于运算结果，确定所述像素事件的压缩后时间信息。

在一实施例中，所述空间压缩子单元，可以用于：

对所述像素事件的空间信息进行位运算，以对所述像素事件的空间信息进行信息压缩；基于运算结果，确定所述像素事件的压缩后空间信息。

在一实施例中，所述去噪单元，可以包括：

第二确定子单元，可以用于确定表征所述时空关联关系的关联掩膜、以及对所述事件数据流进行事件数据去噪处理所需的时间阈值参数，所述关联掩膜包括至少一个信息单元；

第三确定子单元，可以用于基于所述像素事件的空间信息，从所述关联掩膜中确定所述像素事件的关联信息单元，所述关联信息单元与所述像素事件具有空间关联关系；

校验子单元，可以用于基于所述时间阈值参数与所述关联信息单元所记录的时间信息，对所述像素事件的时间信息进行校验；

去噪子单元，可以用于根据校验结果，对所述像素事件进行事件数据去噪处理，以对所述事件数据流进行事件数据去噪处理。

在一实施例中，在所述基于所述时空关联关系，对所述事件数据流进行事件数据去噪处理之前，所述对象识别装置还可以包括：

生成单元，可以用于基于所述视觉传感器的参数信息，生成所述事件数据流的初始过滤掩膜；

更新单元，可以用于基于所述像素事件的时间信息与空间信息，对所述初始过滤掩膜进行更新，得到更新后过滤掩膜；

过滤单元，可以用于通过所述更新后过滤掩膜，对所述事件数据流进行事件数据过滤处理，得到过滤后事件数据流；

所述去噪单元，可以用于：基于所述时空关联关系，对所述过滤后事件数据流进行事件数据去噪处理。

在一实施例中，所述计算单元304，可以包括：

第四确定子单元，可以用于确定所述去噪后像素事件的初始聚类集合，所述初始聚类集合包括至少一个初始聚类，所述初始聚类基于历史像素事件生成；

获取子单元，可以用于获取所述初始聚类的聚类特征信息；

特征计算子单元，可以用于根据所述去噪后像素事件的空间信息与所述聚类特征信息，计算所述去噪后像素事件与所述初始聚类之间的距离特征。

在一实施例中，所述聚类特征信息包括所述初始聚类在至少一个特征维度下的聚类特征；所述特征计算子单元，可以用于：

从所述初始聚类的至少一个特征维度中，确定待调整的目标特征维度、以及所述目标特征维度的调整参数；基于所述调整参数，对所述去噪后像素事件的空间信息与所述聚类特征信息进行信息转换；根据转换后的空间信息与转换后的聚类特征信息，计算所述去噪后像素事件与所述初始聚类之间的距离特征。

在一实施例中，所述特征计算子单元，可以用于：

确定所述初始聚类的参照坐标系中待缩放的坐标轴、以及所述坐标轴的缩放参数；基于所述缩放参数，对所述去噪后像素事件的空间信息与所述聚类特征信息进行信息转换；根据转换后的空间信息与转换后的聚类特征信息，计算所述去噪后像素事件与所述初始聚类之间的距离特征。

在一实施例中，所述聚类特征信息包括所述初始聚类在至少一个特征维度下的聚类特征；所述特征计算子单元，可以用于：

从所述聚类特征中，确定待调整的目标聚类特征、以及所述目标聚类特征的调整参数；基于所述调整参数，对所述去噪后像素事件的空间信息与所述目标聚类特征进行信息转换；根据转换后的空间信息与转换后的目标聚类特征，计算所述去噪后像素事件与所述初始聚类之间的距离特征。

在一实施例中，所述特征计算子单元，可以用于：

确定所述初始聚类的旋转角度特征、以及所述旋转角度特征的调整参数；基于所述调整参数，对所述去噪后像素事件的空间信息与所述旋转角度特征进行信息转换；根据转换后的空间信息与转换后的旋转角度特征，计算所述去噪后像素事件与所述初始聚类之间的距离特征。

在一实施例中，所述获取子单元，可以用于：

确定所述初始聚类对应的聚类形状；基于所述聚类形状，获取所述初始聚类的聚类特征信息。

在一实施例中，所述聚类单元，可以包括：

第五确定子单元，可以用于基于所述距离特征，从所述去噪后像素事件的初始聚类集合中，确定所述去噪后像素事件的目标聚类，所述初始聚类集合包括至少一个初始聚类，所述初始聚类基于历史像素事件生成；

聚类更新子单元，可以用于根据所述去噪后像素事件的空间信息，对所述目标聚类进行更新，得到更新后目标聚类；

集合更新子单元，可以用于基于所述更新后目标聚类，对所述初始聚类集合进行更新，以根据所述初始聚类集合的更新结果，确定聚类结果。

在一实施例中，所述集合更新子单元，可以用于：

基于所述更新后目标聚类，对所述初始聚类集合进行更新，以得到更新后聚类集合；确定更新后聚类集合中的活跃聚类，并计算所述活跃聚类之间的聚类距离；若所述聚类距离满足预设距离条件，则对所述活跃聚类进行聚类合并处理，以得到处理后聚类集合；根据所述处理后聚类集合，确定聚类结果。

在一实施例中，所述训练单元306，可以包括：

样本生成子单元，可以用于根据所述聚类结果，生成模型训练所需的样本数据；

模型训练子单元，可以用于通过所述样本数据，对基于神经网络的对象识别模型进行训练，得到与所述神经网络对应的训练后模型；

模型生成子单元，可以用于基于所述神经网络对应的训练后模型，生成基于脉冲神经网络的训练后对象识别模型。

具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。

由上可知，本实施例的对象识别装置中由获取单元301获取视觉传感器采集到的事件数据流，所述事件数据流包括至少一个像素事件的事件数据，所述事件数据包括所述像素事件的时间信息和空间信息；由确定单元302根据所述时间信息与所述空间信息，确定所述像素事件之间的时空关联关系；由去噪单元303基于所述时空关联关系，对所述事件数据流进行事件数据去噪处理，得到处理后事件数据流，所述处理后事件数据流包括去噪后像素事件的事件数据；由计算单元304根据所述去噪后像素事件的空间信息，计算所述去噪后像素事件的距离特征；由聚类单元305基于所述距离特征对去噪后像素事件进行聚类处理，得到聚类结果；由训练单元306根据所述聚类结果，对基于神经网络的对象识别模型进行训练，得到基于脉冲神经网络的训练后对象识别模型，以通过所述训练后对象识别模型识别所述聚类结果对应的对象。

该方案是基于离散的事件数据来实现对象识别的，因此，本方案能够有效地解决数据冗余的问题，这样的话，由于减小了数据总量，也因而节约了数据传递时所需的网络带宽，并减小了对存储资源的需求；此外，该方案本质上由像素事件驱动进行对象识别，因此，在线部署时无需存储或收集数据帧，能够高效地实时操作。因此，本方案在进行对象识别时，能够在资源和功耗方面达到更高效的效果，从而提高对象识别的效率。

此外，本申请实施例还提供一种电子设备，该电子设备可以为终端等设备。如图15所示，其示出了本申请实施例所涉及的电子设备的结构示意图，具体来讲： 电子设备400包括对象识别装置401。在一实施例中，该对象识别装置401可以被实施为一芯片，具体而言可以是一种拟神态芯片（类脑芯片）。对象识别装置401通过接口模块402（比如用于通信的有线接口电路、蓝牙、ZigBee、UWB等无线传输模块）与电子设备400的处理模块403（比如MCU）相耦接。对象识别装置401通过对事件数据流进行对象识别，将结果通过接口模块402传输至电子设备的处理模块403，该处理模块403基于对象识别装置401反馈的结果，去控制响应模块404。响应模块404可以是各种各样的已知的响应方式，举例而言，可以是显示屏上输出信息、报警、语音信号输出、机械设备的运动（如智能窗帘场景）、电气设备的电压、电流等物理量的控制、切换（如智能灯具）等。响应模块404、处理模块403、对象识别装置401的部分或全部可以是物理上分离的装置，其整体构成了电子设备400。

由上可知，电子设备400可以基于离散的事件数据来实现对象识别的，因此，本方案能够有效地解决数据冗余的问题，这样的话，由于减小了数据总量，也因而节约了数据传递时所需的网络带宽，并减小了对存储资源的需求；此外，该方案本质上由像素事件驱动进行对象识别，因此，在线部署时无需存储或收集数据帧，能够高效地实时操作。因此，本方案在进行对象识别时，能够在资源和功耗方面达到更高效的效果，从而提高对象识别的效率。

以上对本申请实施例所提供的一种对象识别方法、装置、芯片、电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。