具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一方面，参见附图1，本发明实施例公开了一种基于响尾蛇视觉成像的仿生假彩色图像融合模型，该模型包括：

图像预处理模块1，图像预处理模块1用于提取输入的红外源图像和可见光源图像的共有信息和特有信息，并对红外源图像和可见光源图像进行预处理；

响尾蛇双模式细胞机制模拟模块2，响尾蛇双模式细胞机制模拟模块2通过响尾蛇双模式细胞数学模型，对预处理后的红外源图像和可见光源图像进行响尾蛇双模式细胞机制模拟，获得六种响尾蛇双模式细胞模型输出信号；

增强图像生成模块3，增强图像生成模块3用于将六种响尾蛇双模式细胞模型输出信号进行增强处理，获得增强图像；

融合信号生成模块4，融合信号生成模块4用于将增强图像进行融合处理，获得融合信号；以及

假彩色融合图像生成模块5，假彩色融合图像生成模块5用于将融合信号映射至RGB颜色空间的不同颜色通道，生成假彩色融合图像。

具体地，图像预处理模块1包括：

共有信息获取单元，共有信息获取单元用于获取红外源图像和可见光源图像的共有信息成分，即：

I_r(i,j)∩I_vis(i,j)＝min{I_r(i,j),I_vis(i,j)}

其中，I_r(i,j)表示红外源图像，I_vis(i,j)表示可见光源图像，(i,j)表示两幅图像对应的某一像素点，I_r(i,j)∩I_vis(i，j)表示二者的共有信息成分；

特有信息获取单元，特有信息获取单元用于获取红外源图像和可见光源图像的特有信息成分，即：

I_r(i,j)^*＝I_r(i,j)-I_r(i,j)∩I_vis(i,j)

I_vis(i,j)^*＝I_vis(i,j)-I_r(i,j)∩I_vis(i,j)

其中，I_r(i,j)^*表示红外源图像I_r(i，j)的特有信息成分，I_vis(i,j)^*表示可见光源图像I_vis(i,j)的特有信息成分；

预处理单元，预处理单元用于将红外源图像I_r(i,j)减去可见光源图像的特有信息成分I_vis(i,j)^*，得到红外源图像的预处理结果，即I_r(i,j)-I_vis(i,j)^*，并将可见光源图像I_vis(i,j)减去红外源图像的特有信息成分I_r(i,j)^*，得到可见光源图像的预处理结果，即I_vis(i,j)-I_r(i,j)^*，将I_r(i,j)-I_vis(i,j)^*和I_vis(i,j)-I_r(i,j)^*分别作为预处理后的红外图像和可见光图像，记为IR和VIS，即：

图2示出了上述图像预处理模块中各单元对红外源图像和可见光源图像进行共有特征和特有特征获取以及预处理，最终获得预处理后的红外图像IR和可见光图像VIS的原理。

本实施例中预处理操作是为了对图像融合输入的源图像根据后面的需求进行处理，保留或提高某些图像信息，省略某些对后续处理不是很重要的图像信息，从而达到增强图像的效果，进而提高最终获得的融合图像的质量。

若要将红外图像和可见光图像融合到一张图像中进行呈现，那么必然要对两张源图像的图像信息进行选择和侧重，本实施例通过红外源图像减去二者共有信息减轻了红外源图像和可见光源图像共同的图像信息比重，并且更加突出了红外源图像独有而可见光源图像所欠缺的图像信息，用可见光源图像减二者共有信息的初衷亦是如此。便于后续图像融合时融合图像对红外源图像和可见光源图像信息的整合和呈现。

在本实施例中，响尾蛇双模式细胞数学模型包括可见光增强红外细胞数学模型、可见光抑制红外细胞数学模型、红外增强可见光细胞数学模型、红外抑制可见光细胞数学模型、与细胞数学模型以及或细胞数学模型。

在可见光增强红外细胞中，红外信号刺激占主导地位，故其在此类细胞的数学模型中占据主体地位，而可见光信号刺激单独作用不产生响应，起到辅助增强效果，可利用指数函数来表示可见光图像的增强作用，最终获得可见光增强红外细胞的数学模型如下：

I_+IR←V(i,j)＝I_IR(i，j)exp[I_V(i，j)]

其中，I_+IR←V(i，j)表示可见光增强红外后所得图像，I_IR(i，j)表示红外图像，I_V(i，j)表示可见光图像。

在可见光抑制红外细胞中，红外信号刺激占主导地位，故其在此类细胞的数学模型中占据主体地位，而可见光信号刺激单独作用不产生响应，起到辅助抑制作用，可利用对数函数来表示可见光图像的抑制作用，最终获得可见光抑制红外细胞的数学模型如下：

I_-IR←V(i,j)＝I_IR(i,j)log[I_V(i,j)+1]

其中，I_-IR←V(i，j)表示可见光抑制红外后所得图像。

在红外增强可见光细胞中，可见光信号刺激占主导地位，故其在此类细胞的数学模型中占据主体地位，而红外信号刺激单独作用不产生响应，起到辅助增强作用，可利用指数函数来表示红外图像的增强作用，最终获得红外增强可见光细胞的数学模型如下：

I_+V←IR(i,j)＝I_V(i,j)exp[I_IR(i,j)]

其中，I_+V←IR(i,j)表示红外增强可见光信号后所得图像。

在红外抑制可见光细胞中，可见光信号刺激占主导地位，故其在此类细胞的数学模型中占据主体地位，而红外信号刺激单独作用不产生响应，起到辅助抑制作用，可利用对数函数来表示红外图像的抑制作用，最终获得红外抑制可见光细胞的数学模型如下：

I_-V←IR(i,j)＝I_V(i,j)log[I_IR(i,j)+1]

其中，I_-V←IR(i,j)表示红外抑制可见光信号后所得图像；

在与细胞中，只有两种信号刺激同时存在时，细胞才会有较显著响应，红外信号和可见光信号并无实质上的差别，只是各自刺激强度的大小会对响应产生影响，故可考虑用“加权与”的方式来模拟可见光和红外图像的共同作用效果，最终获得与细胞的数学模型如下：

当I_V(i,j)<I_R(i,j)时，融合结果为：

I_AND(i,j)＝mI_V(i,j)+nI_R(i,j)

当I_V(i,j)>I_R(i,j)时，融合结果为

I_AND(i,j)＝nI_V(i,j)+mI_R(i,j)

其中m>0.5，n<0.5，I_AND(i,j)表示红外图像和可见光图像加权与作用后得到的图像。

对于或细胞来说，红外信号刺激和可见光刺激中的任意一种单独作用都产生响应，而两种信号刺激的同时存在则会起到增益作用，或细胞依旧可以产生响应。

在该细胞中，红外信号刺激和可见光刺激中的任意一种单独作用都产生响应，两种信号刺激同时存在会起到增益作用，两种信号间体现着一种合作共赢的伙伴关系，故考虑用“加权或”的方式来模拟可见光和红外图像的共同作用效果，最终获得或细胞数学模型如下：

当I_V(i，j)<I_R(i,j)时，融合结果为

I_OR(i,j)＝nI_V(i,j)+mI_R(i,j)

当I_V(i，j)>I_R(i，j)时，融合结果为

I_OR(i,j)＝mI_V(i,j)+nI_R(i,j)

其中，m>0.5，n<0.5，I_OR(i,j)表示可见光图像和红外图像加权或作用后得到的图像。

使用上述六种响尾蛇双模式细胞数学模型对可见光图像(VIS)和红外图像(IR)进行处理，得到或输出信号V∪IR、与输出信号V∩IR、红外增强可见光输出信号+V←IR、红外抑制可见光输出信号-V←IR、可见光增强红外输出信号+IR←V和可见光抑制红外输出信号-IR←V共六种响尾蛇双模式细胞模型输出信号。

具体地，增强图像生成模块3包括：

增强图像+OR_AND生成单元，增强图像+OR_AND生成单元用于将或输出信号V∪IR馈入到ON-中心型感受野的中心兴奋区域，并将与输出信号V∩IR馈入到ON-中心型感受野的环绕抑制区域，生成增强图像+OR_AND；

增强图像+VIS生成单元，增强图像+VIS生成单元用于将红外增强可见光输出信号+V←IR馈入到ON-中心型感受野的中心兴奋区域，并将红外抑制可见光输出信号-V←IR馈入到ON-中心型感受野的环绕抑制区域，生成增强图像+VIS；以及

增强图像+IR生成单元，增强图像+IR生成单元用于将可见光增强红外输出信号+IR←V馈入到OFF-中心型感受野的中心抑制区域，并将可见光抑制红外信号-IR←V馈入到OFF-中心型感受野的环绕兴奋区域，得到增强图像+IR。

在本实施例中，增强图像生成模块3利用视觉感受野及其数学模型将六种响尾蛇双模式细胞模型输出信号进行增强处理，获得增强图像。

下面对上述的视觉感受野及其数学模型进行如下说明：

生理学特性表明，视网膜神经细胞感受野的基本作用方式为同心圆的空间拮抗作用，可以分为两种：一种是ON-center/OFF-surround系统(即：ON中心兴奋/OFF环绕抑制感受野)，一般简称为ON-中心型感受野，结构如图3中a所示。而另外一种是OFF-center/ON-surround系统(即：OFF中心抑制/ON环绕兴奋感受野)，一般简称为OFF-中心型感受野，结构如图3中b所示。神经节细胞受域通过数学建模可用高斯差函数模型进行模拟，可用高斯分布来描述其不同区域的细胞活跃度，其敏锐性从中心向四周依次递减。

中心-环绕对抗受域的一种动力学描述是被动膜方程(Passive membraneequation)。根据视觉感受野动力学方程的描述，给出视觉感受野动力学方程如下：

ON对抗系统的稳态输出：

OFF对抗系统稳态输出：

其中，C_k(i,j)和S_k(i,j)分别表示中心输入图像、环绕输入图像与高斯函数的卷积，A为衰减常数，E是极化常数。

其中，C_k(i,j)为感受野中心，其表达式为：

S_k(i,j)为感受野环绕区域，其表达式为：

其中，I_k(i,j)为输入图像，*是卷积算子,W_c、W_s分别是中心区域和环绕区域的高斯分布函数，高斯模板大小分别为和m×n和p×q，σ_c、σ_s分别为中心和环绕区域的空间常数，分别使用c、s作为下标来对中心区域(Center)和环绕区域(Surround)进行区分。

具体地，融合信号生成模块4包括：

图像馈入单元，图像馈入单元用于将增强图像+OR_AND、增强图像+VIS以及增强图像+IR分别馈入两个ON-中心型感受野所对应的中心和环绕区域，获得融合信号+VlS+OR_AND和融合信号+VlS+IR两个图像信号；以及

线性或操作单元，线性或操作单元用于对增强图像+VIS和增强图像+OR_AND进行线性或操作，生成融合信号+OR_AND OR+VlS。

最后，假彩色融合图像生成模块5采用RGB颜色空间，将融合信号生成模块中获得的+VIS+OR_AND、+OR_AND OR+VlS和+VIS+IR融合信号分别映射到R、G、B三个通道，将通过上述处理后得到的图像作为最终生成的假彩色融合图像。

另一方面，参见附图4和图5，本发明实施例还公开了一种基于响尾蛇视觉成像的仿生假彩色图像融合方法，该方法包括：

S1：获取待处理的红外源图像和可见光源图像；

S2：将获取的红外源图像和可见光源图像输入上述基于响尾蛇视觉成像的仿生假彩色图像融合模型中，输出假彩色融合图像。

综上所述，本发明实施例从仿生学角度，基于响尾蛇视觉系成像系统设计了一种假彩色图像融合模型，用于获取红外光和可见光融合图像，通过提取红外和可见光图像的共有信息和特有信息来进行图像预处理，进而提高融合图像质量。引入响尾蛇双模式细胞数学模型设计图像融合结构，有效利用了响尾蛇双模式细胞融合机制，更好的模拟了响尾蛇视觉感知机制。同时，上述仿生假彩色图像融合方法，较好的模拟了响尾蛇对红外图像和可见光图像的融合机制，获得的融合图像在色彩表现上有所改善，能在融合图像中更好的呈现人物等目标位置，能够在某些细节方面有更好的表现，能较好的改善光照、烟雾遮挡以及天气情况对成像效果的影响，更符合人眼视觉特性，便于后期人员观察、理解和进一步学术研究。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。