提升hdr图像质量的方法和装置
技术领域
本发明涉及图像处理
技术领域
,具体涉及一种提升HDR图像质量的方法和装置。背景技术
HDR(High Dynamic Range,高动态范围)图像通常具有较高的比特位宽,包含更高的亮度范围和更多的细节信息。随着HDR技术的发展,高动态范围图像处理的应用越来越多,为了保证图像精度没有损失,通常需要支持高比特位宽输入的图像处理系统,但是高比特位宽对芯片面积的需求很高,会导致芯片成本大幅增加。
现有的一些图像处理器最大位宽通常固定为10bit数据或8bit数据,为了控制成本的同时不损失图像精度,通常会将高比特位宽图像拆成N帧(N≥2)低比特位宽图像进行处理,处理过程大致如下:
将一帧高比特位宽的HDR图像拆分成N帧低比特位宽图像,拆分过程将原始图像乘以相应增益后做低位截断操作得到低比特位宽图像,降位宽后的每帧图像保留了原图像不同比特位的信息,然后分别输入到低比特位宽的图像处理器,经过图像处理后输出得到N帧低比特位宽图像,将这N帧低比特位宽图像融合成一帧低比特位的HDR图像。
图像处理器中的数字增益通常会采用自动曝光控制系统传入的增益值,通过数字增益模块来补充仅仅通过控制图像传感器无法达到的亮度值,这样会使图像的高亮信息丢失,损失动态范围。而且,对N帧图像分别使用图像处理器处理时,按照未拆分的单张高比特高动态范围的增益值调用同一组去噪参数,会使N帧图像中一些图像的噪声被放大。
发明内容
本申请实施例提供一种提升HDR图像质量的方法和装置,以解决现有技术对HDR图像处理中存在的一个或多个问题。
为此,本发明实施例提供如下技术方案:
一种提升HDR图像质量的方法,所述方法包括:
接收高比特位宽HDR图像;
将一帧所述高比特位宽HDR图像拆分成多帧低比特位宽图像,并且在拆分过程中对不同帧低比特位宽图像使用不同的拆分增益降低比特位宽;
对所述多帧低比特位宽图像进行图像处理,得到多帧不同亮度的低比特位宽图像;
将所述多帧不同亮度的低比特位宽图像融合成一帧低比特位宽HDR图像。
可选地,所述对所述多帧低比特位宽图像进行图像处理包括:依次对所述多帧低比特位宽图像中各帧图像进行图像处理。
可选地,所述对所述多帧低比特位宽图像进行图像处理包括以下任意一种或多种处理:黑电平校正、自动白平衡、镜头阴影校正、去噪处理、去马赛克处理、图像格式转换处理。
可选地,所述对所述多帧低比特位宽图像进行去噪处理包括:对不同低比特位宽图像使用不同的增益区分去噪强度。
可选地,所述对不同低比特位宽图像使用不同的增益区分去噪强度包括:对每帧低比特位宽图像,使用图像传感器增益加上拆分时对应该帧低比特位宽图像的增益倍数进行去噪。
一种提升HDR图像质量的装置,所述装置包括:
接收模块,用于接收高比特位宽HDR图像;
拆分模块,用于将一帧所述高比特位宽HDR图像拆分成多帧低比特位宽图像,并且在拆分过程中对不同帧低比特位宽图像使用不同增益降低比特位宽;
图像处理模块,用于对所述多帧低比特位宽图像进行图像处理,得到多帧不同亮度的低比特位宽图像;
融合模块,用于将所述多帧不同亮度的低比特位宽图像融合成一帧低比特位宽HDR图像。
可选地,所述图像处理模块,具体用于依次对所述多帧低比特位宽图像中各帧图像进行图像处理。
可选地,所述图像处理模块包括以下任意一种或多种处理单元:黑电平校正单元、自动白平衡单元、镜头阴影校正单元、去噪处理单元、去马赛克处理单元、图像格式转换单元。
可选地,所述去噪处理单元,具体用于对不同低比特位宽图像使用不同的增益区分去噪强度。
可选地,所述去噪处理单元对每帧低比特位宽图像,使用图像传感器增益加上拆分时对应该帧低比特位宽图像的增益倍数进行去噪。
可选地,所述装置还包括:图像传感器、以及分别与所述图像传感器和所述图像处理模块连接的自动曝光控制模块;
所述图像传感器,用于采集高比特位宽HDR图像,并将所述高比特位宽HDR图像传送给所述拆分模块;
所述自动曝光控制模块,用于通过设定增益控制所述图像传感器采集的高比特位宽HDR图像的亮度,并将所述设定增益传送给所述图像处理模块;
所述图像处理模块,还用于使能所述自动曝光控制模块传入的设定增益无效。
本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质为非易失性存储介质或非瞬态存储介质,其上存储有计算机程序,所述计算机程序被处理器运行时执行上述方法的步骤。
本发明实施例还提供一种电子设备,包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,所述处理器运行所述计算机程序时执行上述方法的步骤。
本发明实施例提供的提升HDR图像质量的方法及装置,在将一帧所述高比特位宽HDR图像拆分成多帧低比特位宽图像时,对不同帧低比特位宽图像使用不同的拆分增益降低比特位宽,即拆分过程的N张图像有不同的拆分增益,从而使原图像中的高亮细节和低亮细节在拆分图像中都得到较好的保留。相对于现有技术中对低比特位宽图像使用相同增益的拆分方式,可以有效避免拆分过程造成的HDR图像动态范围受损情况,增加了图像的动态范围。
进一步地,在对拆分后的多帧低比特位宽图像进行去噪时,不是直接使用图像传感器的增益,而是针对每帧低比特位宽图像,基于各帧低比特位宽图像的拆分增益控制该帧低比特位宽图像的去噪强度,使每帧低比特位宽图像的去噪效果都达到最佳,不会因为对各帧低比特位宽图像分别进行处理放大噪声,进而降低了融合后的高比特位宽HDR图像的噪声。
附图说明
图1是本发明实施例提升HDR图像质量的方法的一种流程图;
图2是本发明实施例中高比特位宽HDR图像拆分示意图;
图3是本发明实施例提升HDR图像质量的方法的另一种流程图;
图4是本发明实施例中对不同低比特位宽图像需要使用不同的增益区分去噪强度示意图;
图5是本发明实施例提升HDR图像质量的装置的一种结构框图;
图6是本发明实施例提升HDR图像质量的装置的另一种结构框图。
具体实施方式
为使本发明的上述目的、特征和有益效果能够更为明显易懂,下面结合附图对本发明的具体实施例做详细的说明。
针对现有技术中对HDR图像进行分帧处理中存在的问题,本发明实施例提供一种提升HDR图像质量的方法及装置,在将一帧所述高比特位宽HDR图像拆分成多帧低比特位宽图像时,对不同帧低比特位宽图像使用不同的拆分增益降低比特位宽,即拆分过程的N张图像有不同的拆分增益,从而使原图像中的高亮细节和低亮细节在拆分图像中都得到较好的保留。
如图1所示,是本发明实施例提升HDR图像质量的方法的一种流程图,包括以下步骤:
步骤101,接收高比特位宽HDR图像。
所述高比特位宽HDR图像是指来自图像传感器的RAW图像,RAW图像就是CMOS(Complementary Metal-Oxide-Semiconductor,互补金属氧化物半导体)或者CCD(Charge-coupled Device,电荷耦合器件)等图像感应器将捕捉到的光源信号转化为数字信号的原始数据。
所述高比特位宽HDR图像通常高于现有的图像处理器的处理数据位宽,比如,可以是12、14、16、20、24比特等。
步骤102,将一帧所述高比特位宽HDR图像拆分成多帧低比特位宽图像,并且在拆分过程中对不同帧低比特位宽图像使用不同的拆分增益降低比特位宽。
所述低比特位宽图像是指相比于高比特位宽HDR输入图像降低了位宽的满足现有图像处理器位宽要求的图像。
在本发明实施例中,不同于现有技术在对高比特位宽HDR图像进行拆分过程中,使用相同拆分增益降低比特位宽的方式,而是针对各帧低比特位宽图像使用不同的拆分增益。
比如,将一帧高比特位宽HDR图像拆分成N帧可用于现有图像处理器的低比特位宽图像。其中第1帧图像的拆分增益为pic1,第2帧图像的拆分增益为a×pic1,第3帧图像的拆分增益为b×pic1,...,第n帧图像的拆分增益为(n-1)×pic1,比如可以设置a<b<..<n,当然并不限于该设置,拆分过程如图2所示。
这样,可以使原图像(即所述高比特位宽HDR图像)中的高亮细节和低亮细节在拆分后的低比特位宽图像中都得到较好的保留。
步骤103,对所述多帧低比特位宽图像进行图像处理,得到多帧不同亮度的低比特位宽图像。
需要说明的是,对于拆分后的各低比特位宽图像,需要依次将其输入图像处理器进行处理,处理后得到的多帧不同亮度的低比特位宽图像可以是YUV或RGB等格式的图像。
所述图像处理器通常具有BLC(BlackLevel Correction,黑电平校正)、AWB(Automatic white balance,自动白平衡)、LSC(Lense Shading Correction,镜头阴影校正)、去噪、去马赛克、图像格式转换等功能。
需要说明的是,本发明实施例并不限定所述图像处理器的具体功能,即除以上处理功能外,还可以有其他处理功能,而且对各功能的实现方式也不做限定。
步骤104,将所述多帧不同亮度的低比特位宽图像融合成一帧低比特位宽HDR图像。
具体融合方式可能采用现有技术,对此本发明实施例不做限定。
本发明实施例提供的提升HDR图像质量的方法,在将一帧所述高比特位宽HDR图像拆分成多帧低比特位宽图像时,对不同帧低比特位宽图像使用不同的拆分增益降低比特位宽,即拆分过程的N张图像有不同的拆分增益,从而使原图像中的高亮细节和低亮细节在拆分图像中都得到较好的保留。相对于现有技术中对低比特位宽图像使用相同增益的拆分方式,可以有效避免拆分过程造成的HDR图像动态范围受损情况,增加了图像的动态范围。
进一步地,在本发明方法另一实施例中,还可以将步骤104融合得到的所述一帧低比特位宽HDR图像再次送回图像处理器完成后处理,将RAW图像数据转化为YUV图像,并最终转化为Jpg等格式图像。
如图3所示,是本发明实施例提升HDR图像质量的方法的另一种流程图,包括以下步步骤:
步骤301,接收高比特位宽HDR图像。
步骤302,将一帧所述高比特位宽HDR图像拆分成多帧低比特位宽图像,并且在拆分过程中对不同帧低比特位宽图像使用不同的拆分增益降低比特位宽。
步骤303,对所述多帧低比特位宽图像进行图像处理,得到多帧不同亮度的低比特位宽图像,并且在去噪处理中对不同低比特位宽图像使用不同的增益区分去噪强度。
对于拆分后的各低比特位宽图像,需要依次将其输入图像处理器进行处理。
前面提到,所述图像处理器通常具有BLC、AWB、LSC、去噪、去马赛克等功能。需要说明的是,本发明实施例并不限定所述图像处理器的具体功能,即除以上处理功能外,还可以有其他处理功能,而且在该实施例中,仅对去噪处理做出改进,而对各功能的实现方式不做限定。
不同于现有技术中去噪处理中对不同低比特位宽图像使用相同的图像传感器增益进行去噪,本发明实施例中,对不同低比特位宽图像需要使用不同的增益区分去噪强度,如图4所示。
具体地,对于各帧低比特位宽图像,可以使用图像传感器增益加上拆分时对应该帧低比特位宽图像的增益倍数进行去噪。当然,本发明实施例并不限定每帧低比特位宽图像的具体增益,只需使用不同增益区分去噪强度即可。
比如,假设所述高比特位宽HDR图像的图像传感器增益为G_sensor,由于N帧低比特位宽图像拆分自同一张高比特位宽HDR图像,拆分过程中N张图像有不同的增益,分别为G_a,G_b,…G_n,图像处理器的去噪过程通过调用G_sensor+G_a,G_b,…G_N,使N帧图像的去噪效果都达到最佳。
比如,假设所述高比特位宽HDR图像的图像传感器增益为G_sensor,由于N帧低比特位宽图像拆分自同一张高比特位宽HDR图像,拆分过程中N张图像有不同的增益,分别为G_a,G_b,…G_n,图像处理器的去噪过程通过调用G_sensor+G_a×M,G_b×M,…G_N×M,M为可调参数,使N帧图像的去噪效果都达到最佳。
再比如,假设所述高比特位宽HDR图像的图像传感器增益为G_sensor,由于N帧低比特位宽图像拆分自同一张高比特位宽HDR图像,拆分过程中N张图像有不同的增益,分别为G_a,G_b,…G_n,图像处理器的去噪过程通过调用G_sensor×G_a,G_sensor×G_b,…G_sensor×G_N,使N帧图像的去噪效果都达到最佳。
步骤304,将所述多帧不同亮度的低比特位宽图像融合成一帧低比特位宽HDR图像。
本发明实施例提供的提升HDR图像质量的方法,不仅可以有效避免拆分过程造成的HDR图像动态范围受损情况,增加图像的动态范围。而且,在对拆分后的多帧低比特位宽图像进行去噪时,不是直接使用图像传感器的增益,而是针对每帧低比特位宽图像,基于各帧低比特位宽图像的拆分增益控制该帧低比特位宽图像的去噪强度,使每帧低比特位宽图像的去噪效果都达到最佳,不会因为对各帧低比特位宽图像分别进行处理放大噪声,进而降低了融合后的高比特位宽HDR图像的噪声。
相应地,本发明实施例还提供一种提升HDR图像质量的装置,如图5所示,是该装置的一种结构框图。
接收模块501,用于接收高比特位宽HDR图像;
拆分模块502,用于将一帧所述高比特位宽HDR图像拆分成多帧低比特位宽图像,并且在拆分过程中对不同帧低比特位宽图像使用不同增益降低比特位宽;
图像处理模块503,用于对所述多帧低比特位宽图像进行图像处理,得到多帧不同亮度的低比特位宽图像;所述多帧不同亮度的低比特位宽图像可以是YUV或RGB等格式的图像;
融合模块504,用于将所述多帧不同亮度的低比特位宽图像融合成一帧低比特位宽HDR图像。
本发明实施例提供的提升HDR图像质量的装置,在将一帧所述高比特位宽HDR图像拆分成多帧低比特位宽图像时,对不同帧低比特位宽图像使用不同的拆分增益降低比特位宽,即拆分过程的N张图像有不同的拆分增益,从而使原图像中的高亮细节和低亮细节在拆分图像中都得到较好的保留。相对于现有技术中对低比特位宽图像使用相同增益的拆分方式,可以有效避免拆分过程造成的HDR图像动态范围受损情况,增加了图像的动态范围。
在本明实施例中,所述图像处理模块503可以依次对所述多帧低比特位宽图像中各帧图像进行图像处理。
所述图像处理模块503具体可以包括但不限于以下任意一种或多种处理单元:黑电平校正单元、自动白平衡单元、镜头阴影校正单元、去噪处理单元、去马赛克处理单元、图像格式转换单元等。
在实际应用中,上述各单元可以采用现有方式完成其功能,对此本发明实施例不做限定。
进一步地,在本发明装置另一实施例中,所述去噪处理单元在对拆分后的多帧低比特位宽图像进行去噪时,可以不直接使用图像传感器的增益,而是针对每帧低比特位宽图像,对不同低比特位宽图像使用不同的增益区分去噪强度,比如,使用图像传感器增益加上拆分时对应该帧低比特位宽图像的增益倍数进行去噪。当然,本发明实施例并不限定每帧低比特位宽图像的具体增益,只需使用不同增益区分去噪强度即可。采用这种处理方式,可以使每帧低比特位宽图像的去噪效果都达到最佳,不会因为对各帧低比特位宽图像分别进行处理放大噪声,进而降低了融合后的高比特位宽HDR图像的噪声。
本发明实施例提升HDR图像质量的装置可以应用于多种设备上,实现高比特位宽高动态范围输入图像的处理,比如应用于手机拍照系统上。下面结合该应用进一步详细说明本发明提升HDR图像质量的装置。
如图6所示,是本发明实施例提升HDR图像质量的装置的另一种结构框图。
与图5所示实施例的区别在于,在该实施例中,所述装置还可进一步包括:图像传感器601、以及分别与所述图像传感器601和所述图像处理模块503连接的自动曝光控制模块602。
在该实施例中,所述图像传感器601将采集高比特位宽HDR RAW图像传送给所述接收模块502,当然,也可以通过图5中的接收模块501传送给所述拆分模块502,对此本发明实施例不做限定。
所述自动曝光控制模块602用于通过设定增益控制所述图像传感器601采集的高比特位宽HDR RAW图像的亮度,并将所述设定增益传送给所述图像处理模块503。
由于将高比特位宽图像拆分为N帧低比特位宽图像的过程类似于数字增益的作用,所以此时若乘以所述数字增益,则N帧图像将损失高亮细节,因为乘以所述数字增益相当于对图像的每一个像素值都乘以同一个值,每一个像素值会变大,比如0-255的范围,上限只有255,那么本来不到255的很多像素值也会变为255,这些值对应的信息就会损失掉。
为此,在该实施例中,所述图像处理模块503在对不同低比特位宽图像进行降噪处理时,还需要使能所述自动曝光控制模块传入的设定增益无效,使用不同的增益区分去噪强度,使每帧低比特位宽图像的去噪效果都达到最佳,不会因为对各帧低比特位宽图像分别进行处理放大噪声,进而降低了融合后的高比特位宽HDR图像的噪声。
在该实施例中,所述融合模块504用于将所述图像处理模块503输出的多帧不同亮度的低比特位宽图像融合成一帧低比特位宽HDR图像。
进一步地,所述融合模块504还可以将融合得到的所述一帧低比特位宽HDR图像再次送回图像处理模块503完成后处理,将RAW图像数据转化为YUV图像,并最终转化为Jpg等格式图像。
另外,在本发明装置其他实施例中,还可进一步包括:与所述图像处理模块503连接的存储模块(未图示),用于对所述图像处理模块503接收的各帧图像进行存储,方便后续所魔神图像处理模块503中各处理单元对这些图像的处理。
在具体实施中,上述提升HDR图像质量的装置可以对应于网络设备中的芯片,例如SoC(System-On-a-Chip,片上系统)、基带芯片、芯片模组等。
在具体实施中,关于上述实施例中描述的各个装置、产品包含的各个模块/单元,其可以是软件模块/单元,也可以是硬件模块/单元,或者也可以部分是软件模块/单元,部分是硬件模块/单元。
例如,对于应用于或集成于芯片的各个装置、产品,其包含的各个模块/单元可以都采用电路等硬件的方式实现,或者,至少部分模块/单元可以采用软件程序的方式实现,该软件程序运行于芯片内部集成的处理器,剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现;对于应用于或集成于芯片模组的各个装置、产品,其包含的各个模块/单元可以都采用电路等硬件的方式实现,不同的模块/单元可以位于芯片模组的同一组件(例如芯片、电路模块等)或者不同组件中,或者,至少部分模块/单元可以采用软件程序的方式实现,该软件程序运行于芯片模组内部集成的处理器,剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现;对于应用于或集成于终端的各个装置、产品,其包含的各个模块/单元可以都采用电路等硬件的方式实现,不同的模块/单元可以位于终端内同一组件(例如,芯片、电路模块等)或者不同组件中,或者,至少部分模块/单元可以采用软件程序的方式实现,该软件程序运行于终端内部集成的处理器,剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现。
本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质为非易失性存储介质或非瞬态存储介质,其上存储有计算机程序,所述计算机程序被处理器运行时执行上述图1或图3对应实施例提供的方法的步骤。或者,所述计算机程序被处理器运行时执行上述图1对应实施例提供的方法的步骤。
本发明实施例还提供了另一种提升HDR图像质量的装置,包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,所述处理器运行所述计算机程序时执行上述图1或图3对应实施例所提供的方法的步骤。
本发明实施例还提供了一种电子设备,包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,所述处理器运行所述计算机程序时执行上述图1或图3对应实施例所提供的方法的步骤。
在本发明实施例中,所述处理器可以为中央处理单元(central processingunit,简称CPU),该处理器还可以是其他通用处理器、数字信号处理器(digital signalprocessor,简称DSP)、专用集成电路(application specific integrated circuit,简称ASIC)、现成可编程门阵列(field programmable gate array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解,本申请实施例中的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read-only memory,简称ROM)、可编程只读存储器(programmable ROM,简称PROM)、可擦除可编程只读存储器(erasable PROM,简称EPROM)、电可擦除可编程只读存储器(electricallyEPROM,简称EEPROM)或闪存。易失性存储器可以是随机存取存储器(random accessmemory,简称RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的随机存取存储器(random access memory,简称RAM)可用,例如静态随机存取存储器(staticRAM,简称SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronousDRAM,简称SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM,简称DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,简称ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM,简称SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM,简称DR RAM)。
应理解,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,表示前后关联对象是一种“或”的关系。
本申请实施例中出现的“多个”是指两个或两个以上。
本申请实施例中出现的第一、第二等描述,仅作示意与区分描述对象之用,没有次序之分,也不表示本申请实施例中对设备个数的特别限定,不能构成对本申请实施例的任何限制。
本申请实施例中出现的“连接”是指直接连接或者间接连接等各种连接方式,以实现设备间的通信,本申请实施例对此不做任何限定。
虽然本发明披露如上,但本发明并非限定于此。任何本领域技术人员,在不脱离本发明的精神和范围内,均可作各种更动与修改,因此本发明的保护范围应当以权利要求所限定的范围为准。
- 上一篇:石墨接头机器人自动装卡簧、装栓机
- 下一篇:人脸图像处理方法、装置、介质及设备