一种图像处理方法、装置及电子设备和存储介质

文档序号:9584 发布日期:2021-09-17 浏览:40次 英文

一种图像处理方法、装置及电子设备和存储介质

技术领域

本申请涉及图像处理

技术领域

,更具体地说,涉及一种图像处理方法、装置及一种电子设备和一种计算机可读存储介质。

背景技术

随着交通网络的发展,城市路面交通情况日益复杂,交通拥堵问题使城市运转缓慢,消耗更多的资源。在这种严峻的交通的环境下,一些驾驶人员就会降低对路面交通法的基本准则,产生违法违章,按照个人想法随意驾驶。在这种情况下,就会大大增加交通事故的发生概率。通过构建准确的交通违章抓拍系统,能在一定程度上约束驾驶人员违章,降低交通事故。

目前交通违章检测系统主要依赖于路段上的视频采集单元采集图像信息,对视频进行检测分析。通常需要将检测到的目标图像先存储下来,一旦对比发现车辆整个违章行为过程满足违法判罚,才能对违法车辆过程进行证据链上报处罚。但是在交通情况复杂、场景较大的场景下,单个采集单元受到物理缓存大小限制,只能对有限数量的过车目标进行行为图像存储,即无法对所有目标进行违章检测,导致同一时间内违章判罚效率低。传统的解决方法是通过增加提升DDR大小来分配更多的物理内存,然而这种方式导致硬件成本呈现指数增长。

因此,如何解决上述问题是本领域技术人员需要重点关注的。

发明内容

本申请的目的在于提供一种图像处理方法、装置及一种电子设备和一种计算机可读存储介质,能够有效节省存储空间的占用。

为实现上述目的,本申请提供了一种图像处理方法,包括:

获取实时采集到的道路图像并进行缓存,识别其中的目标对象;

对所述目标对象进行跟踪检测,得到预设时间段内对应的多个目标状态图像;

对每个所述目标状态图像进行编码压缩处理,得到编码后图像;

分别对每个所述目标状态图像进行分析,以判断所述目标对象是否存在预设行为;

如果是,则对所述编码后图像进行解码,以便利用解码后图像生成所述目标对象对应的图像集合。

可选的,所述判断所述目标对象是否存在预设行为之后,还包括:

若所述目标对象不存在所述预设行为,则将所述目标对象对应的所述编码后图像删除。

可选的,所述获取实时采集到的道路图像,包括:

获取针对道路实时采集的视频数据;

从所述视频数据中提取所述道路图像。

可选的,所述对所述目标对象进行跟踪检测,得到预设时间段内对应的多个目标状态图像,包括:

获取所述预设时间段内采集的视频数据;

对所述视频数据进行解析,得到用于表征所述目标对象所处车道及运动状态的多个目标状态图像。

可选的,所述对每个所述目标状态图像进行编码压缩处理,得到编码后图像,包括:

基于ROI编码对每个所述目标状态图像的I帧进行编码压缩处理,得到编码后图像。

可选的,所述对每个所述目标状态图像进行编码压缩处理,得到编码后图像,包括:

对每个所述目标状态图像进行分析,以确定其中的感兴趣区域;

获取针对所述感兴趣区域的第一编码质量参数,以及针对非感兴趣区域的第二编码质量参数;

基于所述第一编码质量参数和所述第二编码质量参数分别对所述感兴趣区域和所述非感兴趣区域进行压缩编码处理,得到编码后图像。

可选的,所述基于所述第一编码质量参数和所述第二编码质量参数分别对所述感兴趣区域和所述非感兴趣区域进行压缩编码处理,得到编码后图像,包括:

基于所述第一编码质量参数,对所述感兴趣区域进行压缩编码,并基于所述第二编码质量参数对所述非感兴趣区域进行压缩编码,生成JPEG格式的编码后图像;

相应的,所述对所述编码后图像进行解码,包括:

对所述编码后图像进行解码处理,得到YUV格式的解码后图像。

为实现上述目的,本申请提供了一种图像处理装置,包括:

对象识别模块,用于获取实时采集到的道路图像并进行缓存,识别其中的目标对象;

跟踪检测模块,用于对所述目标对象进行跟踪检测,得到预设时间段内对应的多个目标状态图像;

图像编码模块,用于对每个所述目标状态图像进行编码压缩处理,得到编码后图像;

图像分析模块,用于分别对每个所述目标状态图像进行分析,以判断所述目标对象是否存在预设行为;

集合生成模块,用于如果是,则对所述编码后图像进行解码,以便利用解码后图像生成所述目标对象对应的图像集合。

为实现上述目的,本申请提供了一种电子设备,包括:

存储器,用于存储计算机程序;

处理器,用于执行所述计算机程序时实现前述公开的任一种图像处理方法的步骤。

为实现上述目的,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现前述公开的任一种图像处理方法的步骤。

通过以上方案可知,本申请提供的一种图像处理方法,包括:获取实时采集到的道路图像并进行缓存,识别其中的目标对象;对所述目标对象进行跟踪检测,得到预设时间段内对应的多个目标状态图像;对每个所述目标状态图像进行编码压缩处理,得到编码后图像;分别对每个所述目标状态图像进行分析,以判断所述目标对象是否存在预设行为;如果是,则对所述编码后图像进行解码,以便利用解码后图像生成所述目标对象对应的图像集合。由上可知,本申请在采集到目标对象对应的目标状态图像之后,将对其进行压缩编码处理,在存在预设行为时再解码上传,能够有效节省存储空间的占用,从而降低存储资源的成本。

本申请还公开了一种图像处理装置及一种电子设备和一种计算机可读存储介质,同样能实现上述技术效果。

应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本申请。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本申请实施例公开的一种图像处理方法的流程图;

图2为本申请实施例公开的另一种图像处理方法的流程图;

图3为本申请实施例公开的一种图像处理装置的结构图;

图4为本申请实施例公开的一种电子设备的结构图;

图5为本申请实施例公开的另一种电子设备的结构图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

通常在视频处理单元中,图像帧是以YUV格式进行图像流转的,通过对YUV原始数据的模型运算,进行车辆等对象的识别捕获等处理。在视频处理单元中,针对目标对象的判断时间相对来说其实很短,并且在目标对象识别完成之后,图像帧实际上就仅仅是存储在DDR中,等待被最终使用或者丢弃。在一般的实施场景中,一个违法完整的判罚过程会持续10秒钟,按照常见的智能处理帧个数5个来计算,整个缓存会占用50个YUV帧缓存数据,而一帧图像数据大小以4096*2160的高清相机为例,整体DDR占用则会高达650M。一旦同一时间画面内违法目标增加、违章判罚类型增加,就会使处理单元缓存内的YUV缓存数量增加,从而对DDR的需求直线增加。

因此,本申请实施例公开了一种图像处理方法,能够有效节省存储空间的占用,从而降低存储资源的成本。

参见图1,本申请实施例公开的一种图像处理方法的流程图,如图1所示,包括:

S101:获取实时采集到的道路图像并进行缓存,识别其中的目标对象;

本申请实施例中,利用道路上预先安装的监控设备对道路上的行驶车辆、行人等进行拍摄并缓存至存储空间中,以获取针对道路实时采集的视频数据,并从视频数据中提取出道路图像。通过对道路图像进行识别,确定其中的目标对象,包括目标车辆、行人等。具体地,识别图像以确定目标对象的过程可以利用深度学习网络实现。

S102:对所述目标对象进行跟踪检测,得到预设时间段内对应的多个目标状态图像;

在识别到目标对象之后,将对目标对象进行跟踪检测,以获取在预设时间段内目标对象对应的多个目标状态图像。具体地,可以获取预设时间段内采集的视频数据,对每一帧视频数据进行解析,从而得到多个目标状态图像,目标状态图像中具体可显示目标对象所处车道、位置,以及对应的运动状态。

S103:对每个所述目标状态图像进行编码压缩处理,得到编码后图像;

可以理解的是,得到目标对象的多个目标状态图像后,将对每个图像进行压缩处理,得到编码后图像。作为一种优选的实施方式,本申请实施例可以利用硬件实现对上述目标状态图像的编码压缩处理,避免了编码过程对处理器造成的性能影响。

S104:分别对每个所述目标状态图像进行分析,以判断所述目标对象是否存在预设行为;

在本步骤中,将通过对目标对象的目标状态图像的数据进行分析,来判断目标对象是否存在预设行为。其中,若目标对象为车辆,则对应的预设行为可以包括但不限于违章停车、压停车线、闯红灯停车、绿灯停车、违章倒车、闯红灯、未按车道行驶、违章调转、违章掉头、压线、越线等行为。例如,可通过对比车辆位置与标定车道线之间的位置判定车辆是否存在压线、越线、未按车道行驶等行驶行为。

S105:如果是,则对所述编码后图像进行解码,以便利用解码后图像生成所述目标对象对应的图像集合。

可以理解的是,若通过对目标对象的状态图像的分析,确定目标对象不存在预设行为,则可将目标对象对应的编码后图像从存储空间中删除,以及时释放内存空间。若确定目标对象存在预设行为,则可以对编码后图像进行解码,得到解码后图像,并利用解码后图像生成对应的图像集合。上述图像集合可以具体在后续对目标对象的危险行为进行判罚时作为证据信息显示。

通过以上方案可知,本申请提供的一种图像处理方法,包括:获取实时采集到的道路图像并进行缓存,识别其中的目标对象;对所述目标对象进行跟踪检测,得到预设时间段内对应的多个目标状态图像;对每个所述目标状态图像进行编码压缩处理,得到编码后图像;分别对每个所述目标状态图像进行分析,以判断所述目标对象是否存在预设行为;如果是,则对所述编码后图像进行解码,以便利用解码后图像生成所述目标对象对应的图像集合。由上可知,本申请在采集到目标对象的目标状态图像之后,将对其进行压缩编码处理,在存在预设行为时再解码上传,能够有效节省存储空间的占用,从而降低存储资源的成本。

本申请实施例公开了一种图像处理方法,相对于上一实施例,本实施例对技术方案作了进一步的说明和优化。具体的:

参见图2,本申请实施例提供的另一种图像处理方法的流程图,如图2所示,包括:

S201:获取实时采集到的道路图像并进行缓存,识别其中的目标对象;

S202:对所述目标对象进行跟踪检测,得到预设时间段内对应的多个目标状态图像;

S203:对每个所述目标状态图像进行分析,以确定其中的感兴趣区域;

S204:获取针对所述感兴趣区域的第一编码质量参数,以及针对非感兴趣区域的第二编码质量参数;

S205:基于所述第一编码质量参数和所述第二编码质量参数分别对所述感兴趣区域和所述非感兴趣区域进行压缩编码处理,得到编码后图像;

作为一种可行的实施方式,本申请实施例通过实况编码的H264编码特性,通过获取编码后的H264码流帧包,提取帧包中ROI区域信息及I帧码流包进行解析,并且根据期望的编码图片大小,进一步调整缓存中I帧的ROI参数。采用匹配的每个目标状态图像的I帧进行编码压缩处理,若是P帧则直接丢弃。ROI(Region Of Interest,感兴趣区域)编码方法能够在压缩图像的不同空间区域内采用不同压缩比。在ROI区域采用较低压缩比,以保证较高的像素精度,而在非ROI区域采用较高压缩比,以保持图像的基本轮廓,使得压缩图像在ROI区域的分辨率高于背景部分。

本申请实施例中,在获取预设时间段内目标对象对应的多个目标状态图像之后,首先确定目标状态图像中的感兴趣区域。获取感兴趣区域对应的第一编码质量参数,以及非感兴趣区域对应的第二编码质量参数,进而可以基于上述两种参数分别对各自对应的图像区域进行编码处理,以得到编码后图像。

在一种可行的实施方式中,本申请实施例可以在基于上述两种编码质量参数分别对感兴趣区域和非感兴趣区域进行压缩编码之后,生成JPEG格式的编码后图像。通过对感兴趣区域和非感兴趣区域区别编码,使得编码完成的图片大小远远小于YUV格式,同时质量可以被接受,目标对象对应的图像可以以较小的缓存大小存储在DDR中。

S206:分别对每个所述目标状态图像进行分析,以判断所述目标对象是否存在预设行为;

S207:如果是,则对所述编码后图像进行解码,以便利用解码后图像生成所述目标对象对应的图像集合。

若检测得到目标对象存在预设行为,则处理单元会将对应目标对象的图像进行解码处理,重新转换成为YUV格式,并上传至目标对象对应的违法证据链,并按照图片的时间顺序进行拼接,输出最终的违法证据链。

需要进一步说明的是,视频图像数据从采集后,需要经历处理单元检测帧抽取,检测帧上报,最后由处理单元释放检测帧缓存。在整个处理过程中,检测帧具有一定缓存时间,即生命周期。视频缓存在生命周期中是不能被释放的,但是在长达数秒的生命周期中,实际上只需要80ms以下的时间就可以实现车辆识别处理,之后图像帧也只是等待最终输出。由于在智能周期结束后,就能对图像缓存进行压缩存储。即智能处理生命周期Talg中,缓存大小不变,在智能处理完成后的Tall-Talg周期中,缓存大小以s的压缩比进行存储,最终DDR使用率相比优化前可以提高其中,Tall为违章处理生命周期时间,Talg为智能处理生命周期,s为编码后的压缩比例。例如,若按照0.5倍压缩图像,违章处理生命周期为10s,智能处理生命周期为80ms计算,整体存储性能利用率提高至198%,在实际应用过程中,可达压缩至源数据的1/10左右,即DDR使用率提高10倍以上,而图像清晰度可满足需求。

由于当前主流的编码压缩算法大多是有损的压缩处理,因此,在图片的编码压缩还原过程中,存在压缩收益和图像清晰度之间的矛盾问题。本申请中,将YUV格式的帧缓存编码为高压缩比、可还原的数据格式。通过配置相应的编码参数,即可实现编码的质量控制。首先对原始帧数据的目标进行捕获分析和动态跟踪得到感兴趣区域,设置好该区域和编码质量参数后,采用I帧编码,最终编码后的图像整体高于背景区域,固清晰度越高,图片压缩率较好。通过这种差异化的编码方法,对车辆缓存图像进行一次编码,得到的图像感兴趣区域清晰度高,编码图像占存储小,能够在优化编码器性能、减少存储空间的同时兼顾到了性能上的平衡。图像以YUV格式存储的时候,整体大小为一般为YUV420格式。编码成为I帧格式后,整体大小在保证清晰度的前提下,压缩率可以达到FrameSize的1/2,甚至更小,从而节省了帧缓存池的占用。

图像解码过程具体将图像解码成YUV格式。此过程为编码的逆转过程,在解码过程中,会有一定的像素损失和性能损失。传统的RIO图片编码技术,需要使用最新的图片编码技术JPEG2000,但目前该技术暂未普及,仅有极少的硬件平台支持硬件编解码,一般嵌入式平台如果使用该技术需要软件使用JPEG2000的编解码。本申请中,可以使用I帧编码取代JPEG2000的ROI优势,同时采用了芯片硬件模块,通过硬件的物理性能实现,避免了解码编码带来的性能损耗影响。

本申请中,通过对缓存图像的编码处理,使平均缓存大小缩小至50%以下,即使得缓存DDR利用率提高98%以上,优化了在多目标场景下智能算法检测车辆目标过度依赖硬件DDR的问题,同时解决了在期望图像大小范围内,编码前后图像质量清晰度低,硬件性能损耗严重影响整体系统方案的问题。

下面对本申请实施例提供的一种图像处理装置进行介绍,下文描述的一种图像处理装置与上文描述的一种图像处理方法可以相互参照。

参见图3,本申请实施例提供的一种图像处理装置的结构图,如图3所示,包括:

对象识别模块301,用于获取实时采集到的道路图像并进行缓存,识别其中的目标对象;

跟踪检测模块302,用于对所述目标对象进行跟踪检测,得到预设时间段内对应的多个目标状态图像;

图像编码模块303,用于对每个所述目标状态图像进行编码压缩处理,得到编码后图像;

图像分析模块304,用于分别对每个所述目标状态图像进行分析,以判断所述目标对象是否存在预设行为;

集合生成模块305,用于如果是,则对所述编码后图像进行解码,以便利用解码后图像生成所述目标对象对应的图像集合。

关于上述模块301至305的具体实施过程可参考前述实施例公开的相应内容,在此不再进行赘述。

在上述实施例的基础上,作为一种优选实施方式,所述图像编码模块303可以具体包括:

区域确定单元,用于对每个所述目标状态图像进行分析,以确定其中的感兴趣区域;

参数获取单元,用于获取针对所述感兴趣区域的第一编码质量参数,以及针对非感兴趣区域的第二编码质量参数;

压缩编码单元,用于基于所述第一编码质量参数和所述第二编码质量参数分别对所述感兴趣区域和所述非感兴趣区域进行压缩编码处理,得到编码后图像。

本申请还提供了一种电子设备,参见图4,本申请实施例提供的一种电子设备的结构图,如图4所示,包括:

存储器100,用于存储计算机程序;

处理器200,用于执行所述计算机程序时可以实现前述任一实施例所提供的步骤。

具体的,存储器100包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机可读指令,该内存储器为非易失性存储介质中的操作系统和计算机可读指令的运行提供环境。处理器200在一些实施例中可以是一中央处理器(CentralProcessing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片,为电子设备提供计算和控制能力,执行所述存储器100中保存的计算机程序时,可以实现前述任一实施例所提供的图像处理方法的步骤。

在上述实施例的基础上,作为优选实施方式,参见图5所示,所述电子设备还包括:

输入接口300,与处理器200相连,用于获取外部导入的计算机程序、参数和指令,经处理器200控制保存至存储器100中。该输入接口300可以与输入装置相连,接收用户手动输入的参数或指令。该输入装置可以是显示屏上覆盖的触摸层,也可以是终端外壳上设置的按键、轨迹球或触控板,也可以是键盘、触控板或鼠标等。

显示单元400,与处理器200相连,用于显示处理器200处理的数据以及用于显示可视化的用户界面。该显示单元400可以为LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。

网络端口500,与处理器200相连,用于与外部各终端设备进行通信连接。该通信连接所采用的通信技术可以为有线通信技术或无线通信技术,如移动高清链接技术(MHL)、通用串行总线(USB)、高清多媒体接口(HDMI)、无线保真技术(WiFi)、蓝牙通信技术、低功耗蓝牙通信技术、基于IEEE802.11s的通信技术等。

图5仅示出了具有组件100-500的电子设备,本领域技术人员可以理解的是,图5示出的结构并不构成对电子设备的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。

本申请还提供了一种计算机可读存储介质,该存储介质可以具体为:随机存取存储器(Random Access Memory,RAM)。该存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现前述任一实施例所提供的图像处理方法的步骤。

本申请在采集到目标对象的目标状态图像之后,将对其进行压缩编码处理,在存在预设行为时再解码上传,能够有效节省存储空间的占用,从而降低存储资源的成本;另外,基于ROI编码方式进行编码压缩,可以降低图像数据的损失率,保证了解码后图像的质量。

说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

完整详细技术资料下载
上一篇:石墨接头机器人自动装卡簧、装栓机
下一篇:一种车道线信息确定方法及装置

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!