具体实施方式

为使本申请实施的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本申请一部分实施例，而不是全部的实施例。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。下面结合附图对本申请的实施例进行详细说明。

需要说明的是，在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

图1为本申请一实施例的基于图像融合特征的高效PM_2.5浓度预测方法的流程示意图。

如图1所示的基于图像融合特征的高效PM_2.5浓度预测方法包括：

步骤1：获取待预测图像集，所述待预测图像集中包括多个待预测图像；

步骤2：根据所述待预测图像集提取待预测图像感兴趣区域；

步骤3：根据所述待预测图像感兴趣区域获取待预测图像的传统图像特征以及深度特征；

步骤4：根据所述传统图像特征以及所述深度特征从而获取融合特征；

步骤5：获取PM_2.5浓度预测模型；

步骤6：将所述融合特征输入至所述PM_2.5浓度预测模型，从而得到PM_2.5浓度预测信息。

本申请的基于图像融合特征的高效PM_2.5浓度预测方法通过选取图像感兴趣区域将方法处理对象由整体聚焦到局部关键位置，从而在保证图像质量的同时减少模型所需参数，使模型保有较好的预测性能，提高特征提取效率。同时通过融合传统图像特征和深度特征来丰富特征表达，兼顾特征的全面性和可解释性，从而基于图像感兴趣区域的融合特征实现对PM_2.5浓度的预测，构建高性能组合预测模型。一方面，改变传统图像特征提取较为片面，多数停留在图像颜色、纹理等浅表视觉特征层面的问题；另一方面，改变深度学习方法对数据集规模要求较大，特征提取缺乏理论支撑，可解释性较差，可信度较低的问题。

在本实施例中，根据所述待预测图像集提取待预测图像感兴趣区域包括：

根据所述待预测图像集获取配准图像集，其中，所述配准图像集包括多个配准图像，使用SIFT算法将一个待预测图像对应生成一个配准图像；

根据所述配准图像集生成交集图像集，其中，所述交集图像集包括多个交集图像，对一个配准图像，遍历图像各像素点，记录4个顶点位置，向内取极值，对应生成一个交集图像集；

根据《HJ633-2012环境空气质量指数(AQI)技术规定(试行)》中PM_2.5浓度分级标准对图像进行分级；

按照预设浓度阈值对各级图像依其数量比例随机获取第一数量的低浓度图像以及随机获取第二数量的高浓度图像，每个低浓度图像分别与每个高浓度图像组成一个图像对；

计算各个图像对的Sobel算子和OSTU算法计算各图像对平均边缘差值图像；

采用Two-Pass算法获取平均差值图像的最大连通区域作为图像感兴趣区域。

具体地，在本实施例中，根据所述待预测图像集获取配准图像集包括：

提取固定图像感兴趣区域，使用SIFT算法对图像集进行配准。

采用这种方式，能够使图像集中个图像主体建筑物位置对齐。

在本实施例中，根据所述配准图像集生成交集图像集包括：

遍历各配准图像的像素点，记录顶点像素位置，通过顶点位置向内取极值确定并裁剪配准图像交集区域从而获取交集图像，各个交集图像组成所述交集图像集。

采用这种方式，可以去除配准图像的黑色边框。

在本实施例中，计算各个图像对的平均边缘差值图像包括：

使用Sobel算子和OSTU算法计算图像对的平均边缘差值图像。

采用这种方式，能够使图像感兴趣区域包含尽可能多的成像差异。

在本实施例中，随机获取第一数量的低浓度图像以及随机获取第二数量的高浓度图像采用如下方法获取：

将图像集按照PM_2.5浓度分级标准划分为6个部分。以PM_2.5浓度标签数据的上、下四分位数为阈值，按比例随机抽取高、低浓度图像并两两组成图像对。在下述描述中，会具体讲解如何进行划分，在此不再赘述。

在本实施例中，提取每个平均边缘差值图像中的最大连通区域作为图像感兴趣区域包括：

通过Two-Pass算法提取每个平均边缘差值图像中的最大连通区域作为图像感兴趣区域。

在本实施例中，所述传统图像特征包括：

图像感兴趣区域的平均透射率特征、平均梯度特征、信息熵特征以及对比度特征。

具体而言，采用如下方法获取传统图像特征：

传统图像特征为根据图像各点像素值计算求得，包括图像平均透射率、图像平均梯度、信息熵和对比度。其中，图像平均透射率根据大气散射模型和暗通道先验原理估测；图像平均梯度通过Sobel算子计算图像各像素点梯度值再取平均；信息熵根据图像信息熵公式计算：对比度为图像像素值的标准偏差。

在本实施例中，根据所述待预测图像感兴趣区域获取待预测图像的深度特征包括：

使用卷积神经网络提取图像感兴趣区域的深度特征。

在本实施例中，所述根据所述传统图像特征以及所述深度特征从而获取融合特征包括：

将传统图像特征形成传统图像特征一维向量；

将深度特征形成深度特征一维向量；

将传统图像特征一维向量以及深度特征一维向量拼接从而形成融合特征。

下面以举例的方式对本申请进行进一步详细阐述，可以理解的是，该举例并不构成对本申请的任何限制。

某图像集由2015年3月至2019年6月每天8点到17点拍摄的整点图像构成，共8330张，图像尺寸为4406×3264。针对图像集中的每张图像，提取拍摄时刻前3小时的，拍摄地点邻近空气质量监测站的历史PM_2.5、PM₁₀、SO₂、NO₂、CO、O₃浓度数据作为对应污染物浓度特征。针对图像集中的每张图像，提取拍摄时刻前3小时的，拍摄地点邻近气象监测站的历史温度、湿度、压强、风速、绝对风速数据作为其气象因素特征。

采用本申请基于图像融合特征的高效PM_2.5浓度预测方法将上述图像集作为待预测图像集，具体步骤如下：

步骤1：获取待预测图像集(例如，本实施例中，采用某气象观测塔拍摄的奥运区俯瞰实时图像集，图像为2015年3月至2019年6月每隔半小时拍摄一张，共58830张)，所述待预测图像集中包括多个(8330张)待预测图像；

步骤2：根据所述待预测图像集提取待预测图像感兴趣区域，更具体地，

首先，将图像集使用SIFT算法配准，并通过配准图像顶点像素位置确定其交集区域，裁剪得到交集图像集，如图2所示。

其次，将图像集中的8830张图像按PM_2.5浓度分级标准划分为6个部分，通过计算得图像PM_2.5浓度标签数据集得上四分位数为15，下四分位数为76。图像集中PM_2.5浓度标签小于15的图像共1949张，分布在一级，视为低浓度图像。PM_2.5浓度标签大于76的图像共2070张，分布在后四个级别，视为高浓度图像。以15和76为阈值，按比例随机抽取高、低浓度图像构成图像对，如图3所示。

参见图3，在本实施例中，待预测图像集中一共8330张图像，随机抽取其中的247张，并按照预设分级标准对交集图像中的247张交集图像进行分类，具体地，预设分级采用按照PM_2.5浓度分级标准划分，即划分为PM_2.5浓度标签小于15以及PM_2.5浓度标签大于76，其中，PM_2.5浓度标签大于76又可划分为如图中所示的4个类别，但是，这四个类别在本申请中均认为属于高浓度类别，而小于76且大于15的属于中浓度，在本申请中不使用。

当进行完分类后，我们可以获得1949张低浓度图像以及2070张高浓度图像，此时，随机获取第一数量的低浓度图像以及随机获取第二数量的高浓度图像，将每个低浓度图像分别与每个高浓度图像组成一个图像对，例如，在本实施例中，采用图3中所示的比例进行分配，可以理解的是，还可以根据其他比例进行分配，最后，抽取到的第一数量为121张低浓度图像，第二数量为126张的高浓度图像，将每个低浓度图像分别与每个高浓度图像组成一个图像对，举例来说，将121张低浓度图像中的每一张分别与126张高浓度图像中的每一张进行组合形成一个图像对，最终形成121乘以126个图像对。

使用Sobel算子和OSTU算法计算图像对的平均边缘差值图像，并通过Two-Pass算法提取其最大连通区域作为图像感兴趣区域，从而获取到图像感兴趣区域。

步骤3：根据所述待预测图像感兴趣区域获取待预测图像的传统图像特征以及深度特征；具体地，基于图像感兴趣区域提取传统图像特征：图像平均透射率、平均梯度、信息熵及对比度。并基于图像感兴趣区域提取深度特征。

参见图6以及图7，步骤4：根据所述传统图像特征以及所述深度特征从而获取融合特征；

步骤5：获取PM_2.5浓度预测模型；

步骤6：将所融合特征输入至所述PM_2.5浓度预测模型，从而获取PM_2.5浓度预测信息，预测结果得均方根误差为10.45。图4为该图像集2017年1-8月预测值与真实值的对比图，选取曲线拟合差异明显的样本点进行展示。从图5也可以看出，获取的预测值与真实值较为接近。

本申请首先根据不同PM_2.5浓度下的成像差异选定图像感兴趣区域，然后针对所选取的局部图像，利用传统图像处理方法手动设计提取图像浅表视觉特征，利用卷积神经网络自动提取图像深层语义特征。最后将两种特征融合，交由卷积神经网络的全连接层实现对PM_2.5浓度的回归预测。本发明基于图像感兴趣区域进行处理，在保证图像质量的基础上解决了图像尺寸过大导致的模型运算效率较低问题，并通过使用融合特征，兼顾了特征的全面性与可靠性，构建高性能组合预测模型。

本申请还提供了一种基于图像感兴趣区域融合特征的PM_2.5浓度预测装置，所述基于图像感兴趣区域融合特征的PM_2.5浓度预测装置包括待预测图像集获取模块、图像感兴趣区域提取模块、特征提取模块、融合特征模块、模型获取模块以及预测模块，其中，

待预测图像集获取模块用于获取待预测图像集，待预测图像集中包括多个待预测图像；

图像感兴趣区域提取模块用于根据所述待预测图像集提取待预测图像感兴趣区域；

特征提取模块用于根据所述待预测图像感兴趣区域获取待预测图像的传统图像特征以及深度特征；

融合特征模块用于根据所述传统图像特征以及所述深度特征从而获取融合特征；

模型获取模块用于获取PM_2.5浓度预测模型；

预测模块用于将所述融合特征输入至PM_2.5浓度预测模型，从而获取PM_2.5浓度预测信息。

上述对方法的描述同样也适用与对装置的描述。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

此外，显然“包括”一词不排除其他单元或步骤。装置权利要求中陈述的多个单元、模块或装置也可以由一个单元或总装置通过软件或硬件来实现。第一、第二等词语用来标识名称，而不标识任何特定的顺序。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，模块、程序段、或代码的一部分包括一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地标识的方框实际上可以基本并行地执行，他们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或总流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

在本实施例中所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现装置/终端设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

在本实施例中，装置/终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。

需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。本申请虽然以较佳实施例公开如上，但其实并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此，本申请的保护范围应当以本申请权利要求所界定的范围为准。

虽然，上文中已经用一般性说明及具体实施方案对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。