具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可以包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、程序、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、程序、步骤、操作、元件、组件和/或它们的组。

图1为本申请一些实施方式中一种单帧红外图像弱小目标检测方法的流程图，如图1所示，可以包括以下步骤S1-S3：

S1、获取红外图像。

自然界中，一切物体都可以辐射红外线，因此利用探测仪测量目标本身与背景间的红外线差可以得到不同的热红外线形成的红外图像。

S2、通过弱小目标检测网络模型从所述红外图像中提取特征数据，并通过特征数据的自动组合与分析，得到目标分割图像。

一些实施方式中，所述弱小目标检测网络模型的表达式为：

f＝f_T∪f_B (2)

其中，f表示所述红外图像，f_T表示所述红外图像的目标区域，f_B表示所述红外图像的背景区域。

与背景技术中的表达式(1)不同，表达式(2)中的各个变量被去掉了位置索引，用来表示区域而非像素。根据表达式(2)，本申请将红外弱小目标检测问题转化为将图像划分成目标区域和背景区域的二类分割问题。

本申请中的弱小目标检测网络模型，我们简称为SDDNet(small and dim targetsdetection network)模型，由神经网络模型训练得到。该弱小目标检测网络模型本质上是一个二类分割网络，它的作用是把图像中的目标区域和背景区域分割开来，其输入为图像，输出为目标与背景的二类分割图，输出的二类分割图与输入的红外图像大小相同。该弱小目标检测网络模型的结构设计非常简单，使用了尽可能少的网络层数，同时未使用图像分割中常用的多分辨率处理、多层特征融合等策略，提高了运算效率，处理速度非常快，在典型单个GPU上平均可以达到600多FPS。同时，该网络非常适合于弱小目标提取，可以获得接近于1的目标检测概率，同时保持很低的虚警率。

一些实施方式中，所述弱小目标检测网络模型采用编码器-解码器 (encoder-decoder)结构。

编码器用于所述红外图像中的特征数据提取，采用了堆栈残差块(stackresidual blocks)结构，具有强大的特征提取能力，可以从弱小目标不显著的表观中提取到有利于目标分割的显著特征。

解码器用于目标区域的分割，采用了堆栈上采样块(stack upsample block) 结构，其作用是逐层恢复特征图的尺寸，最终得到与输入图像大小相同的目标分割图像。

S3、将所述目标分割图像转化成二值图像，并标记所述二值图像的连通区域，以得到目标的特征信息。

弱小目标检测网络模型输出的是目标分割图像，目标分割图中给出了红外图像中一个像素归属于目标的概率(理想状态下，目标像素的概率为1，背景像素的概率为0)。

二值图像是指在图像中，灰度等级只有两种，也就是说，图像中的任何像素点的灰度值均为0或者255，分别代表黑色和白色。本申请中，二值图像的白色区域表述目标区域，黑色区域表示背景区域。

一些实施方式中，所述将所述目标分割图像转化成二值图像，包括以下步骤：

S311：从所述目标分割图像中获取第一像素；

所述第一像素为所述目标分割图像中的任一像素；

S312：将所述第一像素的辐射强度与预设的强度阈值进行比较，若所述辐射强度小于所述强度阈值，则将所述第一像素的灰度值设定为0，若所述辐射强度大于所述强度阈值，则将所述第一像素的灰度值设定为255；最终设定所述目标分割图像中的任一像素的灰度值，以得到所述二值图像。

一些实施方式中，所述强度阈值的表达式为：

Tr＝m+0.5*(maxv-m) (3)

其中，Tr表示所述强度阈值，m表示所述目标分割图像中的各像素的平均辐射强度，maxv表示所述目标分割图像中的各像素的最大辐射强度。

二值图像的连通区域标记是指对图像中不同连通区域中的像素设置唯一的标号，是计算机视觉、模式识别和图像处理等领域中众多算法的基础。

一些实施方式中，所述标记所述二值图像的连通区域，以得到目标的特征信息，包括以下步骤：

S321：预设并初始化连通区标记二维数组b、连通区点数记录数组d、连通区合并标记数组t；

S322：从所述二值图像的左上方开始，按从左到右、从上到下的顺序逐点扫描所述二值图像的像素点p，判断像素点p的灰度值是否等于0；若是，则执行步骤S323；若否，则执行步骤S326；

S323:对像素点p所属连通区进行判断并标记：

从连通区标记二维数组b中取像素点p的左、左上、上和右上四个邻近点的连通区序号值，分别记为x1、x2、x3、x4，如果x1、x2、x3、x4中某些点超出边界无法取得，则将其设为0；

另设变量x，定义其取值规则为：若x2、x3、x4均为0，则x取0，否则x 按顺序取第一个非0值；在获得x的值后，按以下步骤进行：

a)若x＝0，且x1＝0，则像素点p为新的连通区，按照k＝k+1的序号累加方式得到一个新的连通区序号k，k为连通区序号，初始时k设为0，使得检测到的第一个连通区序号为1，并在检测到新的连通区后逐渐递增，根据图像像素点p的位置，将新的连通区序号k记录在连通区标记二维数组b中，并将连通区点数记录数组d中新的连通区序号k对应的元素加1,即d[k]＝d[k]+1；然后，转向步骤S323；

b)若x＝0，且x1≠0，则像素点p不是新的连通区，p点属于x1的连通区，故在连通区标记二维数组b中将像素点p的连通区序号标记为x1，并修改连通区点数记录数组d，将连通区点数记录数组d中连通区序号标记为x1对应的元素加1，即d[x1]＝d[x1]+1；然后，转向步骤S326；

c)若x3＝0，x4≠0，且x1、x2存在非0值时，像素点p承担了将两个连通区连接起来的功能，取得x4的值以及x1、x2中的第一个非0值，共两个值，然后转向步骤S324；

d)若上面条件均不满足，转向步骤S325；

S324：根据连通区合并标记数组t，检查步骤c)中所取两个值代表的连通区是否已合并，

若未合并，则在连通区合并标记数组t中将这两个连通区序号作合并标记, 标记的方法是，

若i、j两个连通区需要合并，则改写t[i]＝j或者t[j]＝i；

S325：在连通区标记二维数组b中将图像像素点p的连通区序号标记为m，并将m域的点数加1，即d[m]＝d[m]+1；

S326：检查图像是否扫描完毕，若还没扫描完毕转向步骤S322，若已扫描完毕，则执行步骤S327；

S327：根据连通区合并标记数组t，对前面步骤得到的连通区标记二维数组 b和连通区点数记录数组d进行修改，实现连通区的合并处理，扫描连通区标记二维数组b的非0点，设其序号的值为j，j为连通区标记二维数组b的非0点的连通区序号，根据t[j]取值做如下处理：

a)若t[j]＝0，说明以j为连通区序号的点构成了一个单独的域，不需要与任何其他域进行合并；

b)若t[j]≠0，说明以j为序号标记值的域与以t[j]为标记值的域是连通的，应进行合并，将所有连通序号标记为j的点修改为t[j]，同时修改连通区点数数组d，d[t[j]]＝d[j]+d[t[j]]，然后将d[j]清0；

S328：依据最终的连通区标记二维数组b和连通区点数记录数组d来确定连通区数量、点数和位置分布等信息，即得到目标的特征信息。

一些实施方式中，所述特征信息包括所述目标的位置、尺寸、形状等。

一些实施方式中，该单帧红外图像弱小目标检测方法还包括步骤S4：根据所述特征信息得到所述目标对应的外接矩形框图像。

一些实施方式中，在步骤S1之前，该单帧红外图像弱小目标检测方法还包括以下步骤：

S01、创建所述弱小目标检测网络模型。

S02、分别对多个训练用红外图像进行预处理，得到多个预处理训练图像。

所述预处理包括图像尺寸调整、图像旋转以及图像翻转等。

S03、分别获取各预处理训练图像所对应的训练目标分割图像样本。

人工预先为每个训练用红外图像设置对应的训练目标分割图像样本，弱小目标检测网络模型在训练过程中计算实际生成的训练目标分割图像与预先设置的训练目标分割图像样本之间的偏差，根据偏差大小做自我参数调整，达到训练目的。

S04、通过所述弱小目标检测网络模型的卷积层分别提取各预处理训练图像中的训练特征数据，以各训练目标分割图像样本作为所述训练特征数据的输出参考，对所述弱小目标检测网络模型进行训练，直至所述弱小目标检测网络模型的参数收敛，得到训练后的所述弱小目标检测网络模型。

一些实施方式中，所述以各目标分割图像样本作为所述训练特征数据的输出参考，对所述弱小目标检测网络模型进行训练，包括以下步骤S041-S042：

S041、以训练目标分割图像样本为参考，通过加权的二值交叉熵(binary crossentropy)函数计算得到所述弱小目标检测网络模型输出的训练目标分割图像的误差。

可选地，加权的二值交叉熵函数的表达式为：

l＝w·y·logx+(1-w)(1-y)log(1-x) (4)

其中，l表示所述误差，x为所述弱小目标检测网络模型的输出结果，y为标签，w为统计得到的预处理训练图像中背景区域面积的占比。考虑到弱小目标图像中，目标与背景的平衡问题，本申请在训练弱小目标检测网络模型过程时，采用了加权的二值交叉熵函数。w可设为0.9859。通过w的调节，一张训练图像中，目标损失与背景损失处在一个大体相当的水平。这很好地避免了训练过程被面积占多的背景主导，从而更好地学习到弱小目标的特征，提高网络的有效性。

S042、采用反向传导法根据所述误差调整所述弱小目标检测网络模型各层的参数。

本实施例中，收集了约100段红外极弱小目标图像序列，共计约包含80000 张图像，其中，90％用于训练，10％用于训练验证。训练是在NVIDIA DGX工作站上进行的，该工作站有四个Tesla V100 gpu，采用分布式数据并行框架。在NVIDIA GPU加速容器中使用优化的PyTorch深度学习框架来实现所需模型。具体的训练策略如下：将每帧训练图像左右翻转进行数据增强以扩充训练集。在每张GPU 上我们一次处理32帧图像，在卷积层和激活函数之间对数据进行批量正则化。使用Adam作为优化器，其参数b1和b2分别设置为0.5和0.999。训练弱小目标检测网络模型时，学习率设置为0.0001。弱小目标检测网络模型在不使用随机失活技术(dropout)的情况下训练的。在迭代过程中跟踪验证错误，在训练结束时，使用产生该错误最小值的权重。

图2展示了该单帧红外图像弱小目标检测方法在6组数据集(S1-S6)上获得的典型结果。其中，第一行为输入至弱小目标检测网络模型的原始红外图像；第二行为弱小目标检测网络模型输出的图像分割结果。图像分割结果中给出了每一像素属于目标的概率，采用强度阈值Tr对该图进行二值化处理以提取目标。第三行为目标的外接矩形框图像。第四行给出了6组数据对应的关于Tr的ROC (Receiver operating characteristic)。PD(probability of detection)和FA(probability of false alarm)被用来评估弱小目标检测方法的性能。PD表示检测到真实目标的概率，FA表示错误检测到目标的概率。

可以看到，从较低的FA开始，PD就比较稳定地达到了接近于1的较高水平。需要特别指出的是，现有的弱小目标检测方法的FA的上限一般为1，对应于最低阈值。而本申请中，FA有一个非常低的上限(图2中ROC曲线末端的点)，其原因是，SDDNet输出的图像分割结果非常精确，在这个结果图中，绝大部分的背景杂波被彻底滤除掉了，这些区域的值确定地为0。因此，即使Tr＝0，最终的目标提取结果仍然会保持很低的FA。而现有的方法对于背景杂波的抑制效果往往不佳，因此其FA上限也较高。在实际应用中，最优阈值可根据ROC确定。

表1给出了采用强度阈值Tr时，该单帧红外图像弱小目标检测方法的结果。同时，表1也给出了具有代表性的现有方法IPI、RW、LCM、MGDWE、Tophat、 Maxmean、Maxmed采用同样的阈值计算方法时的目标检测结果。表中“FAIL”表示全图绝大多数地方被标记为目标区域，以致于FA极其高。从表1中可以看到，本申请在绝大多数测试数据上都取得了最好的结果。在部分数据集上，PD 或者FA可能不是最好的，但是综合性能是最好的，也即在保持较低FA的同时，获得了较高的PD。

表1

同时，本申请记录了模型的执行效率(表2)。经过TensorRT加速后，在单张NVIDIATesla V100 GPU上，平均帧频高达632FPS；即使在单张NVIDIA Jetson TX2嵌入式AI计算设备上，平均帧频依然能够达到254FPS.因此，本申请的弱小目标检测网络模型非常高效，完全可以对视频图像进行实时处理。同时，可以看到，弱小目标检测网络模型的处理速度几乎不受场景复杂度的影响，这一点对于检测系统的稳定性是非常有利的。

表2

上述实施例中，通过将目标检测问题转换成图像分割问题来解决，有效提高了单帧红外图像中的弱小目标检测精度，且运行高效。

基于相同的技术构思，本申请还提供了一种单帧红外图像弱小目标检测装置，其可用于单帧红外图像中的弱小目标检。本申请实施例中的装置能够实现对应于上述图1所对应的实施例中所执行的单帧红外图像弱小目标检测的方法的步骤。该装置实现的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，所述模块可以是软件和/或硬件。如图3所示，该装置包括获取模块1和处理模块2。所述处理模块2和获取模块2的功能实现可参考图1所对应的实施例中所执行的操作，此处不作赘述。所述处理模块2可用于控制所述获取模块1的收发操作。

所述获取模块1，用于获取红外图像。

所述处理模块2，用于通过弱小目标检测网络模型从所述获取模块所获取的所述红外图像中提取特征数据，并通过特征数据的自动组合与分析，得到目标分割图像；将所述目标分割图像转化成二值图像，并标记所述二值图像的连通区域，以得到目标的特征信息。

所述弱小目标检测网络模型的表达式为：

f＝f_T∪f_B

其中，f表示所述红外图像，f_T表示所述红外图像的目标区域，f_B表示所述红外图像的背景区域。

上述实施例中，通过将目标检测问题转换成图像分割问题来解决，有效提高了单帧红外图像中的弱小目标检测精度，且运行高效。

基于相同的技术构思，本申请还提供了一种计算机设备，如图4所示，该计算机设备包括输入输出单元31、处理器32和存储器33，所述存储器33中存储有计算机可读指令，所述计算机可读指令被所述处理器32执行时，使得所述处理器执行上述各实施方式中的所述的单帧红外图像弱小目标检测方法的步骤。

图3中所示的获取模块1对应的实体设备为图4所示的输入输出单元31，该输入输出单元31能够实现获取模块1部分或全部的功能，或者实现与获取模块1相同或相似的功能。

图3中所示的处理模块2对应的实体设备为图4所示的处理器32，该处理器32能够实现处理模块2部分或全部的功能，或者实现与处理模块2相同或相似的功能。

基于相同的技术构思，本申请还提供了一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述各实施方式中的所述的单帧红外图像弱小目标检测方法的步骤。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，这些均属于本申请的保护之内。