具体实施方式

为使相关技术人员能更好的理解本发明，对本次申请的目的、技术方案和优点有更加清晰的了解，下面将结合具体实例和附图对本发明做进一步说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

本发明提供了一种用于实时视频拼接系统的高速全局色差矫正方法，能够有效淡化和消除拼接图像重叠区域的色差以及图像之间整体的色差，提高全景图像的质量。

其中，图像拼接可以有多种算法实现，用到的实际算法不同，消耗的计算资源和计算时间也会不同，效果也不尽相同。本方法主要针对图像拼接的融合重构阶段，对其执行色差矫正算法，如图1所示。本发明先在相机原始图像重叠区域两两采样，然后多图左右采样，采样后使用alpha通道进行均衡值计算得到每幅图像的查色表，投影时根据查色表内容进行色差矫正，保持查色表周期性更新，不仅提高了全景拼接图像的质量，并且在满足大尺寸多摄像头实时视频拼接对实时性的要求前提下，有效减少了对计算资源的消耗。

作为一种实施例，本发明在图像拼接时，所使用的图像排列方式如图2所示。图2中，1-5为从五个相机获取的5幅图像，阴影部分代表相邻图像之间的重叠区域，由于相机的摆放位置、内参矩阵不同和渐晕现象等因素，导致不同相机的成像存在色差，拼接后图像与图像之间的重叠区域色差会格外明显，导致拼接图像整体质量较差。

所述方法可以减弱和消除上述因素导致的色差，所述方法着重处理图像拼接的融合重构阶段，具体包括下列顺序的步骤：

(1)获取相机图像序列。所述相机图像序列是指在相机视频流中抓拍获取所有相机同一时刻的一帧图像，而后矫正方法开始执行。图像的获取是本方法的基础工作，保证图像序列的时间同步才能保证色差矫正的准确性。

(2)对于每两个相机图像在拼接时的重叠区域，同时进行重叠区域两两采样和量化以及多图左右采样和量化。

在获取相机原始图像之后，先对图像做采样处理，以减少对计算资源和计算时间的消耗。本方法采用重采样方法，重采样可以使用多次次级采样。但若是对于高清图片，根据奈奎斯特采样定理，采样频率需要大于等于2倍的图像的最大频率，导致采样频率很高，消耗资源，这时可以先对图像使用一些滤波方法进行模糊化处理后再进行次级采样。对图像重采样之后，降低了对资源的消耗，同时也能保证图像色度亮度信息的完好性。

重采样完成后，接下来对图像感兴趣部分进行采样，即图3所示的阴影部分和1-5图像整体色彩，采样方法如图3所示。采样方法为把一幅连续图像在空间上分割成M×N个网格，每个网格用某一亮度值来表示，一个网格称为一个像素，采样满足奈奎斯特采样定理。

而量化就是把采样点上对应的亮度连续变化区间转换为单个特定数码的过程，采样之后把采样点上信息量化为包含图像色度和亮度的矩阵，量化之后的数字矩阵M×N就作为步骤(2)处理后的对象，这样就完成了同时进行重叠区域两两采样和量化以及多图左右采样和量化处理。

更进一步的，所述拼接图像重叠区域两两采样，是指在拼接图像的多个重叠区域内，每个重叠区域左右两幅图像分别进行多次采样和量化，得到包含重叠区域图像的色度信息、亮度信息和尺度信息的整数矩阵，保证在不损失重叠区域图像信息的前提下，尽量减少对计算资源和计算时间的消耗。

更进一步的，所述多图左右采样，是指针对全局信息，拼接图像由多个图像左右排列拼接融合而成，对每个图像及其左右两个图像分别进行多次采样和量化，得到包含每个图像的色度信息、亮度信息和尺度信息的整数矩阵，保证在不损失原始图像信息的前提下，尽量的减少对计算资源和计算时间的消耗。

(3)对经过采样和量化处理后的图像矩阵增加alpha通道。图像的颜色通常用三个独立的属性来描述，三个独立变量综合作用，自然就构成一个空间坐标，这就是颜色空间。常用的图像颜色空间有RGB颜色空间，YUV颜色空间和HSV颜色空间。本方法使用只需占用极少频宽，图像传输占优势的YUV颜色空间。经过采样和量化处理，将图像感兴趣区域转换为可处理的YUV颜色空间内数据后，增加第四个变量alpha通道进行数据融合。特殊通道alpha通道表示透明度，以将原始两个图像矩阵借助alpha融合计算得出混合后的新图像矩阵，增加alpha通道即可使得两张包含重叠区域的图形融合成一张图像。

简单地说，需要组合出的颜色由两个不含alpha分量的原始YUV图像组合而成，比如现在有两幅图像，分别称为图像A和图像B，由这两幅图像组合而成的图像称为C，则有如下的两个原始四元组A和B：

A：(Ya，Ua，Va，αa)B：(Yb，Ub，Vb，αb)

和组合后的三元组C：

C：(Yc，Uc，Vc)

那么有组合公式

Yc＝Ya×αa+Yb×αb；

Uc＝Ua×αa+Ub×αb；

Vc＝Va×αa+Vb×αb

即可得出融合后的颜色。

(4)对融合后的图像矩阵进行均值化计算。对图像感兴趣部分混合颜色后，需要对混合后的部分执行均值化计算，针对不同的实际场景采用不同的图像均值化计算方法，目的是通过均值化计算可以解决增加alpha通道融合后出现的色彩不均衡现象。

优选地，对多图左右采样之后获得的图形信息矩阵，增加三个颜色分量以外的第四个透明度分量，将其分别作用于两两采样后得到的图形信息矩阵和多图左右采样后得到的图形信息矩阵，进行图像均衡值计算，获得拼接图像的alpha矩阵参数，使得均衡化处理后的图像近似均匀分布。

作为示例，以灰度图为例：首先统计原始图像各灰度级的像素数目N(i)，i的取值范围为[0，max]，max是图像中所有的灰度数(灰度数跟图像位深有关，如果图像为8位深度，则灰度级别共有2^8＝256)；其次统计灰度为i的像素的出现概率P(i)＝N(i)/M，M是图像中所有的像素数；再次统计P(i)的累积分布函数：

最后对混合后的部分均值化计算：

f(min)为累积分布函数最小值，M和N分别代表了图像的长宽像素个数。根据上面描述的灰度图像使用均衡化的方法，将这种方法分别用于图像YUV颜色空间的Y、U、V分量，从而也可以对彩色图像进行处理。

(5)针对均值化之后的图像计算获得查色表。针对拼接图像的尺寸大，信息多等情况，使用查色表法来对进行均衡值计算之后的图像颜色空间缩减。均值化计算之后可以获得图像矩阵均值化后每张待拼接图像的色度亮度信息、图像与图像之间重叠区域的色度亮度信息存成查色表。此时针对均值化之后的图像计算对应的查色表，其作用就是直接查找、简化计算，大大提高处理图像的效率。

处理一张图片，其实就是对整个图像数据进行处理，那么就要对图像的全部数据进行扫描读取，然后进行相应的处理，而计算机处理中耗时最短的操作便是赋值，这时查色表就派上用途了。查色表是一种颜色空间缩减方法，其做法是：将现有颜色空间值除以某个输入值，以获得较少的颜色数；预先计算了所有可能的值，使用时再通过查找查色表直接赋值。例如，颜色值0到9可取为新值0，10到19可取为10，以此类推，可以表达为下列形式：

这样，简单的颜色空间缩减算法就可由下面两步组成：一、遍历图像矩阵的每一个像素；二、对像素应用上述公式。本方法对于使用的感兴趣区域，均值化计算之后预先计算出所有可能的值，存储为一维或多维数组，对应不同输入值存储相对应的输出值，然后需要这些值的时候，利用查找表直接赋值即可，其优势在于只需读取、无需计算，在不损失原始图像信息的前提下极大地减少了计算资源和计算时间的消耗。

(6)之后进行两个操作：一方面更新相机图像，计算更新查色表。本方法每隔一段时间后，重新执行(1)-(5)的操作，持续记录图像色度亮度信息并周期性更新查色表。所述一段时间可以为1～12h。

这样做一方面可以消除或弱化由于时间的推移等因素导致相机获取的原始图像发生色彩变化的影响；另一方面投影时根据查色表内容进行矫正色差。

获得查色表后，对每副原始图像进行色彩的增强和衰减。每两幅图像之间做对比，利用查色表快速定位和修改，将色度和亮度强的地方衰减，将色度和亮度弱的地方增强，使得拼接后画面色彩较为均匀，达到矫正色差的效果，提高全景拼接图像的质量。

(7)最后输出色差矫正后拼接图像。

本发明还提供了一种处理器，所述处理器用于执行上述的方法。

本发明还提供了一种计算机设备，包括存储器、上述处理器及存储在存储器上并可在处理器上运行的计算机程序；其中，所述处理器执行所述程序时实现上述步骤。作为优选地，所述色差矫正过程在GPU里操作，以提高色差矫正的实时性。

综上所述，本发明提供了一种用于实时视频拼接系统的高速全局色差矫正方法，能很好的淡化和消除拼接图像重叠区域的色差以及图像之间整体的色差，有效实现了全景视频拼接系统中的图像高速全局的色差矫正，提高了全景拼接图像的质量，并且在满足大尺寸多摄像头实时视频拼接对实时性的要求前提下，有效的减少了对计算资源的消耗。

虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和原则的前提下，可以在实施的形式及细节上进行任何的修改与变化、等同替换等，这些都属于本发明的保护范围。因此，本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。