基于交叉辐射定标的气象遥感数据精度检验分析系统
技术领域
本公开涉及气象数据处理
技术领域
,尤其涉及一种基于交叉辐射定标的气象遥感数据精度检验分析系统。背景技术
由于在生产、建设和设备运营过程中受环境气象因素影响极大,因此目前对气象数据和卫星遥感数据的应用越来越广泛。同时随着社会的不断进步,计算机技术的不断发展,人们对气象服务的质量要求不断提高。
相关技术中,由于卫星实时观测数据受环境和遥感器自身性能的影响,需要地面应用系统对原始的观测数据进行大量的预处理和精度分析,才能获得所需的定制化气象产品,这就导致客户端对气象数据请求的响应延迟大,严重影响客户体验。
需要说明的是,在上述
背景技术
部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种基于交叉辐射定标的气象遥感数据精度检验分析系统,至少在一定程度上克服由于相关技术中气象数据的可靠性差等问题。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本公开的一个方面,提供一种基于交叉辐射定标的气象遥感数据精度检验分析系统,包括:匹配模块,用于对遥感器和参考遥感器进行时空交叉匹配;标准化模块,用于对时空交叉匹配后的遥感观测数据进行数据标准化,生成标准化数据;接收模块,用于接收客户端通过标准化接口设置的筛选参数;分类模块,用于根据筛选参数对标准化数据进行分类;筛选模块,用于根据客户端设置的筛选阈值对分类的标准化数据进行筛选处理;发送模块,用于将筛选处理后的标准化数据发送至客户端进行可视化分析,以供客户端对接收的标准化数据进行可视化分析处理。
在本公开的一个实施例中,可视化分析处理包括遥感数据的空间分析、时空分析、匹配值分布分析、时间序列分析和相关性分析中的至少一种。
在本公开的一个实施例中,分类模块包括:划分子模块,用于根据标准化数据按照遥感数据来源属性划分;命名子模块,用于根据数据来源属性划分的结果和预设命名格式,对标准化数据进行命名;存档子模块,用于按照数据内容、数据通道和中心波长对命名后的标准化数据进行分类存档。
在本公开的一个实施例中,遥感数据来源属性包括卫星名、参考卫星名、载荷名、参考载荷名和数据版本信息中的至少一种。
在本公开的一个实施例中,筛选模块包括:接收子模块,用于接收客户端设置的开始时间和结束时间;确定子模块,用于根据开始时间和结束时间确定时间段范围,并确定属于时间段范围内的分类存档的标准化数据;接收子模块还用于,接收客户端设置的筛选阈值;筛选模块还用于,根据筛选阈值对时间段范围内的标准化数据进行筛选处理。
在本公开的一个实施例中,所述筛选阈值包括遥感数据的经纬度范围阈值、时间阈值、数据角度阈值、地表地形类型阈值中的至少一种。
在本公开的一个实施例中,筛选阈值包括经纬度的阈值、太阳天顶角度的阈值、卫星天顶角度的阈值、两个载荷卫星天顶角度偏差的阈值、匹配点时间偏差的阈值、海陆模板的参数和匹配块标准差的阈值中的至少一种。
在本公开的一个实施例中,还包括:分析模块,用于对经过筛选处理的标准化数据进行数据分析,数据分析包括偏差分析、标准差分析、均方根误差分析和匹配点分析中的至少一种。
在本公开的一个实施例中,还包括:统计模块,用于确定数据分析后的标准化数据的数据内容、数据类型和经纬度信息,并按照预设的时间粒度或空间粒度进行统计分析。
在本公开的一个实施例中,还包括:可视化模块,用于对经过统计分析的标准化数据进行可视化分析,以生成标准化数据的可视化结果。
在本公开的一个实施例中,可视化结果包括偏差分析的结果、标准差分析的结果、均方根误差分析的结果和匹配点分析的结果中的至少一种。
在本公开的一个实施例中,可视化分析包括空间分布可视化分析、时空分布可视化分析、值分布可视化分析、时间序列可视化分析、数据相关性可视化分析中的至少一种。
根据本公开的第二个方面,提供一种基于交叉辐射定标的气象遥感数据精度检验分析方法,包括:对遥感器和参考遥感器进行时空交叉匹配;对时空交叉匹配后的遥感观测数据进行数据标准化,生成标准化数据;接收客户端通过标准化接口设置的筛选参数;根据筛选参数对标准化数据进行分类;根据客户端设置的筛选阈值对分类的标准化数据进行筛选处理;将筛选处理后的标准化数据发送至客户端进行可视化分析,以供客户端对接收的标准化数据进行可视化分析处理,分析处理包括空间分析、时空分析、匹配值分布分析、时间序列分析和相关性分析中的至少一种。
在本公开的一个实施例中,根据筛选参数对标准化数据进行分类包括:根据标准化数据按照遥感数据来源属性划分;根据数据来源属性划分的结果和预设命名格式,对标准化数据进行命名;按照数据内容、数据通道和中心波长对命名后的标准化数据进行分类存档。
在本公开的一个实施例中,根据客户端设置的筛选阈值对分类的标准化数据进行筛选处理包括:接收客户端设置的开始时间和结束时间;根据开始时间和结束时间确定时间段范围,并确定属于时间段范围内的分类存档的标准化数据;接收客户端设置的筛选阈值;根据筛选阈值对时间段范围内的标准化数据进行筛选处理。
在本公开的一个实施例中,筛选阈值包括经纬度的阈值、太阳天顶角度的阈值、卫星天顶角度的阈值、两个载荷卫星天顶角度偏差的阈值、匹配点时间偏差的阈值、海陆模板的参数和匹配块标准差的阈值中的至少一种。
在本公开的一个实施例中,还包括:对经过筛选处理的标准化数据进行数据分析,数据分析包括偏差分析、标准差分析、均方根误差分析和匹配点分析中的至少一种。
在本公开的一个实施例中,还包括:确定数据分析后的标准化数据的数据内容、数据类型和经纬度信息,并按照预设的时间粒度或空间粒度进行统计分析。
在本公开的一个实施例中,还包括:对经过统计分析的标准化数据进行可视化分析,以生成标准化数据的可视化结果。
在本公开的一个实施例中,可视化结果包括偏差分析的结果、标准差分析的结果、均方根误差分析的结果和匹配点分析的结果中的至少一种。
在本公开的一个实施例中,可视化分析包括空间分布可视化分析、时空分布可视化分析、值分布可视化分析、时间序列可视化分析、数据相关性可视化分析中的至少一种。
根据本公开的第三个方面,提供一种电子设备,包括:处理器;以及存储器,用于存储处理器的可执行指令;其中,处理器配置为经由执行可执行指令来执行上述基于交叉辐射定标的气象遥感数据精度检验分析方法。
根据本公开的第四个方面,提供一种计算机可读存储介质,计算机程序被处理器执行时实现上述基于交叉辐射定标的气象遥感数据精度检验分析方法。
本公开的实施例所提供的基于交叉辐射定标的气象遥感数据精度检验分析方案,通过对多个遥感器气象数据进行交叉粗匹配处理,对遥感器获取的气象数据进行时空校准,来提高气象数据的可靠性。
进一步地,通过将对校准后的气象数据进行标准化,并将标准化数据划分为不同类型或不同版本的气象数据,并进行统一存储、管理与访问,快速地定制化气象数据,不仅提高了反演气象数据的质量和精度,也缩短了获取气象数据的响应延迟,提升了用户体验。
另外,通过本公开的技术方案,采用网页自适应方式进行查询,提高了对遥感观测数据的统一存储、管理、访问与分析的处理效率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出本公开实施例中一种基于交叉辐射定标的气象遥感数据精度检验分析系统的示意图;
图2示出本公开实施例中一种基于交叉辐射定标的气象遥感数据精度检验分析方法的流程图;
图3示出本公开实施例中另一种基于交叉辐射定标的气象遥感数据精度检验分析方法的流程图;
图4示出本公开实施例中又一种基于交叉辐射定标的气象遥感数据精度检验分析方法的流程图;
图5示出本公开实施例中又一种基于交叉辐射定标的气象遥感数据精度检验分析方法的流程图;
图6示出本公开实施例中又一种基于交叉辐射定标的气象遥感数据精度检验分析方法的流程图;
图7示出本公开实施例中又一种基于交叉辐射定标的气象遥感数据精度检验分析方法的流程图;
图8示出本公开实施例中又一种基于交叉辐射定标的气象遥感数据精度检验分析方法的流程图;
图9示出本公开实施例中一种基于交叉辐射定标的气象遥感数据精度检验分析装置的示意图;
图10示出本公开实施例中另一种基于交叉辐射定标的气象遥感数据精度检验分析装置的示意图;
图11示出本公开实施例中一种电子设备的示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
本申请提供的方案,通过对多个遥感器气象数据进行交叉粗匹配处理,对遥感器获取的气象数据进行时空校准,来提高气象数据的可靠性。进一步地,通过将对校准后的气象数据进行标准化,并将标准化数据划分为不同类型或不同版本的气象数据,并进行统一存储、管理与访问,快速地定制化气象数据,不仅提高了反演气象数据的质量和精度,也缩短了获取气象数据的响应延迟,提升了用户体验。另外,通过本公开的技术方案,采用网页自适应方式进行查询,提高了对遥感观测数据的统一存储、管理、访问与分析的处理效率。
本申请实施例提供的方案涉及气象数据标准化、气象数据分析和气象数据筛选等技术,具体通过如下实施例进行说明。
如图1所示,基于多仪器辐射交叉定标方法的气象遥感数据精度检验分析平台包括:数据层102、服务层104和应用层106。
其中,数据层102的数据来源包括:风云卫星宽通道载荷交叉匹配粗提取数据、风云卫星高光谱载荷交叉匹配粗提取数据和其他卫星载荷其他方法匹配数据,但不限于此。
数据层102提供数据接口管理(文件系统),用于接收客户端通过标准化接口设置时空匹配后的经纬度分析范围、设置匹配时间阈值、设置匹配数据角度阈值、筛选匹配数据海洋陆地类型、筛选地表类型,进行分区域、分类型精匹配数据提取和下载,但不限于此。
服务层104提供数据分析服务、空间分布分析服务、时空分布分析服务、值分布分析服务、数据获取服务、数据筛选服务、数据统计服务和数据相关性分析服务,但不限于此。
其中,数据分析服务包括:偏差分析服务、标准差分析服务、均方根误差分析服务和数据量分析服务,但不限于此。
应用层106提供分析报告生成服务、分析图批量下载服务和分析图批量删除服务等,但不限于此。
结合遥感器时空匹配交叉分析数据处理系统架构图,本实施例主要分为三个部分:数据标准化处理,数据存储服务、以及一个基于浏览器的参数定制化的交互式数据分析展示程序。
上述基于多仪器辐射交叉定标方法的气象遥感数据精度检验分析平台的输入数据包括风云卫星(譬如,风云1A、风云1B、风云1C、风云1D、风云2A、风云2B、风云2C、风云2D、风云2E、风云2F、风云2G、风云2H、风云3A、风云3B、风云3C、风云3D和风云4A等,但不限于此)宽通道遥感器交叉匹配粗提取数据、高光谱遥感器交叉匹配粗提取数据、其他卫星遥感器其他方法匹配数据。
上述气象数据产品涉及的交叉匹配粗数据支持多星、多遥感器、多通道、多分辨率、多版本等多种数据类型。本系统的建设充分考虑了数据的多样性、复杂性以及高分辨率数据庞大的数据量,同时通过多种优化手段提高了对数据处理、数据存储、数据检索、数据加载以及数据分析、浏览的效率。实现了对多星、多遥感器、多通道、多分辨率、多版本数据的定制化分析和评估报告生成。
上述基于多仪器辐射交叉定标方法的气象遥感数据精度检验分析平台的具体执行步骤如下:
(1)根据数据标准化环节将遥感器与参考遥感器时间空间粗匹配后的数据按照卫星、载荷、版本进行长时间序列数据生成,保存粗匹配后的观测数据(亮温/反射率)、定标数据(经度、纬度)、角度数据(太阳天顶角、太阳方位角、卫星天顶角、卫星方位角)、地表数据(海陆掩码、地表覆盖)、匹配时间等,对输出数据的文件名进行规范化设计,统一命名规则。
例如:
FY3B_MWRI_GPM_GMI_V0-1.h5。
FY3B_MWHS_METOPA_MHS_V0-1.h5。
卫星名称_遥感器名称_参考卫星名称_参考遥感器名称_版本号.h5。
(2)通过统一的目录结构对已生成的产品进行管理,例如:
“~/web/data/dview/。
~/网页代码路径总入口/数据存储目录/交叉粗匹配数据存放目录/”。
例如,如图3所示为“FY3B”卫星的“MWHS”遥感器与“METOP-A”卫星的“MHS”遥感器时空粗匹配后的长时间序列数据产品内容。
(3)对生成的各遥感器时空粗匹配后的长时间序列数据产品,通过网页客户端和文件系统目录映射的方式自适应识别数据列表。用户选择粗匹配后的长时间序列数据产品文件后,客户端自适应显示文件中的所有通道和遥感器名称,选择相应通道和待分析遥感器数据1(Data1)、参考遥感器数据2(Data2)后可以对该文件中所有的全集粗匹配数据进行统计,包括Data1-Data2的偏差(BIAS)、标准差(STD)、均方根误差(RMSE)和粗匹配点数(DATA_COUNT)。
(4)支持上述统计结果的分析展示,包括:空间分布分析展示、时空分布分析展示、值分布分析展示、时间序列分析展示和数据的相关性分析展示。
(5)支持将所有分析展示结果生成规范化的分析报告,支持将所有分析展示结果导出存储,支持所有分析展示结果的清空。
(6)在数据管理上,将所有气象卫星遥感器交叉粗匹配产品抽象成一个具有数据类型、数据资源路径、数据时间轴资源路径等属性的产品对象,并且通过客户端与数据目录映射进行管理。
本实施例通过上述多种手段的合理综合应用,可以很好的实现多星、多遥感器、多参考卫星参考遥感器、多版本遥感数据的高效组织、管理与分析。使得整个系统具备开放、易扩展、易维护等优点。
下面,将结合附图及实施例对本示例实施方式中的基于交叉辐射定标的气象遥感数据精度检验分析方法的各个步骤进行更详细的说明。
图2示出本公开实施例中一种基于交叉辐射定标的气象遥感数据精度检验分析方法的流程图。
如图2所示,终端执行基于交叉辐射定标的气象遥感数据精度检验分析方法,包括以下步骤:
步骤S202,对遥感器和遥感器的参考遥感器进行时空交叉匹配。
在上述实施例中,通过对多个遥感器气象数据进行交叉粗匹配处理,对遥感器获取的气象数据进行时空校准,来提高气象数据的可靠性。
在本公开的一个实施例中,匹配模块对遥感器和参考遥感器进行时空交叉匹配的条件包括:
1.进行时间匹配,目标遥感器和参考遥感器的像元观测时间满足公式(1)如下:
|t1-t2|<δmax_sec,公式(1)
式中,t1为目标遥感器像元观测时间,t2为参考遥感器像元观测实际时间,δmax_sec为时间匹配阈值。
2.进行空间匹配:目标遥感器和参考遥感器的像元经纬度满足公式(2)-(6)如下:
x1=Lat1×π/180,公式(2)
x2=Lat2×π/180,公式(3)
y1=Lon1×π/180,公式(4)
y2=Lon2×π/180,公式(5)
acos(sin(x1)×sin(x2)+cos(x1)×cos(x2)×cos(y1-y2))<dmax,公式(6)
式中,Lat1、Lon1分别为目标遥感器像元的经纬度,x1,x2分别对应弧度值,Lat2、Lon2分别为参考遥感器像元的经纬度,y1,y2分别对应弧度值,dmax为空间匹配阈值(单位弧度)。
3.进行观测角度匹配:目标遥感器和参考遥感器的像元观测角应满足公式(7)如下:
式中,cosθ1为目标遥感器像元观测天顶角,cosθ2为参考遥感器像元观测实际天顶角,δmax_zen为角度匹配阈值。
步骤S204,对时空交叉匹配后的遥感观测数据进行数据标准化,以得到标准化数据。
在上述实施例中,通过对多个标准化的遥感器交叉粗匹配数据进行标准化处理后划分为不同类型不同版本的数据,并进行统一存储、管理与访问,并采用网页自适应方式进行查询,能够有效管理和访问遥感器交叉匹配数据。
其中,数据标准化包括对数据的文件名、文件属性、文件格式、存储方式和数据管理等方面,生成系统内部定义的统一数据格式。
步骤S206,接收客户端通过标准化接口设置的筛选参数。
在上述实施例中,接收客户端通过标准化接口设置的筛选参数,譬如,时空匹配后的经纬度分析范围、设置匹配时间阈值、设置匹配数据角度阈值、筛选匹配数据海洋陆地类型、筛选地表类型,进行分区域、分类型精匹配数据提取和下载。
步骤S208,根据筛选参数对标准化数据进行分类。
在上述实施例中,在进行分区域和分类型精匹配数据提取和下载后,通过文件系统分目录对各类型数据统一存储、管理与访问,通过在存储、中间件、应用系统等多个方面的优化设计来保证系统在存储、管理与访问上的效率。
步骤S210,根据客户端设置的筛选阈值对分类的标准化数据进行筛选处理。
在上述实施例中,筛选阈值包括气象数据的经纬度范围阈值、时间阈值、数据角度阈值、地表地形类型阈值中的至少一种。
在上述实施例中,地表地形类型阈值包括海陆模板阈值和匹配块标准差阈值中的至少一种。
在上述实施例中,数据角度阈值包括太阳天顶角度的阈值、卫星天顶角度的阈值、两个载荷卫星天顶角度偏差的阈值中的至少一种。
在上述实施例中,时间阈值包括匹配点时间偏差的阈值。
步骤S212,将筛选处理后的标准化数据发送至客户端,以供客户端对接收的标准化数据进行可视化分析处理。
在上述实施例中,在客户端确认分析结果后,可将相关配置参数、阈值和相关指令保存到数据库。
进一步地,每天的定时任务通过读取最新的静态参数文件或数据库相关配置参数信息,获取调整的阈值参数和相关指令,每天可定时输出静态分析结果用于可视化展示和发布,实现客户端按需定制化图片的自动更新和发布。
在上述实施例中,可视化分析处理包括遥感数据的空间分析、时空分析、匹配值分布分析、时间序列分析和相关性分析中的至少一种。
在图2所示的步骤的基础上,如图3所示,根据筛选参数对标准化数据进行分类包括:
步骤S3082,根据标准化数据按照遥感数据来源属性划分,遥感数据来源属性包括卫星名、参考卫星名、载荷名、参考载荷名和数据版本信息中的至少一种。
步骤S3084,根据数据来源属性划分的结果和预设命名格式,对标准化数据进行命名。
在上述实施例中,通过对遥感器时空粗匹配后的交叉分析数据进行标准化处理,然后按照命名规则进行统一命名,采用客户端和文件系统目录映射的方式自适应识别分析数据列表,能够有效管理和访问遥感器交叉分析数据。
进一步地,客户端访问数据文件存放路径,通过匹配原则列出路径下所有可进行分析的数据,所有数据通过文件名区分。在客户端输入数据文件筛选条件,会自动列出匹配条件的数据,采用文件系统对各个产品文件进行统一存储、管理与访问。
具体地,在数据管理上,将所有遥感器时空匹配粗提取数据转换成一个具有遥感器参考遥感器说明、通道观测数据、定标数据、角度参数、时间等的产品对象,并且通过路径和文件名对各个产品对象进行管理,能够进行更有效的管理。
步骤S3086,按照数据内容、数据通道和中心波长对命名后的标准化数据进行分类存档。
在上述实施例中,数据内容可以为温度分布、湿度分布、红外分布和云图等,但不限于此。
在上述实施例中,所述遥感数据来源属性包括卫星名、参考卫星名、载荷名、参考载荷名和数据版本信息中的至少一种。
在图2所示的步骤的基础上,如图4所示,根据客户端设置的筛选阈值对分类的标准化数据进行筛选处理包括:
步骤S4102,接收客户端设置的开始时间和结束时间。
在上述实施例中,客户端设置的开始时间和结束时间,对文件中的相应时间段范围内的数据进行筛选,可以采用整个文件中观测数据的时间长度。
步骤S4104,根据开始时间和结束时间确定时间段范围,并确定属于时间段范围内的分类存档的标准化数据。
步骤S4106,接收客户端设置的筛选阈值。
步骤S4108,根据筛选阈值对时间段范围内的标准化数据进行筛选处理。
在上述实施例中,所述筛选阈值包括经纬度范围阈值、时间阈值、数据角度阈值、地表地形类型阈值中的至少一种。
在图2所示的步骤的基础上,如图5所示,基于交叉辐射定标的气象遥感数据精度检验分析方法还包括:
步骤S502,对经过筛选处理的标准化数据进行数据分析,数据分析包括偏差分析、标准差分析、均方根误差分析和匹配点分析中的至少一种。
在本公开的一个实施例中,客户端选择粗匹配后的长时间序列数据产品文件后,客户端的交互界面能够自适应显示文件中的所有通道和遥感器名称,选择相应通道和待分析遥感器数据1(Data1)、参考遥感器数据2(Data2)后可以对该文件中所有的全集粗匹配数据进行统计,包括Data1-Data2的偏差(BIAS)、标准差(STD)、均方根误差(RMSE)和粗匹配点数(DATA_COUNT)。
在图2和图5所示的步骤的基础上,如图6所示,基于交叉辐射定标的气象遥感数据精度检验分析方法还包括:
步骤S602,确定数据分析后的标准化数据的数据内容、数据类型和经纬度信息,并按照预设的时间粒度或空间粒度进行统计分析。
在上述实施例中,时间粒度可以包括1天、2天、3天、5天、10天、15天、30天和自然月等,空间粒度可以包括纬度1度、2度和3度等,但不限于此。
在图2和图5所示的步骤的基础上,如图7所示,基于交叉辐射定标的气象遥感数据精度检验分析方法还包括:
步骤S702,对经过统计分析的标准化数据进行可视化分析,以生成标准化数据的可视化结果。
在上述实施例中,获取统计分析数据和时间、空间信息,进行偏差、标准差、均方根误差和匹配点个数,并进行可视化分析,譬如,空间分布可视化分析、时空分布可视化分析、值分布可视化分析、时间序列可视化分析、数据相关性可视化分析。
在本公开的一个实施例中,可视化结果包括偏差分析的结果、标准差分析的结果、均方根误差分析的结果和匹配点分析的结果中的至少一种。
在本公开的一个实施例中,可视化分析包括空间分布可视化分析、时空分布可视化分析、值分布可视化分析、时间序列可视化分析、数据相关性可视化分析中的至少一种。
在本公开的一个实施例中,所述筛选阈值包括气象数据的经纬度范围阈值、时间阈值、数据角度阈值、地表地形类型阈值中的至少一种。
图8示出本公开实施例中另一种基于交叉辐射定标的气象遥感数据精度检验分析方法的流程图。
如图8所示,本公开实施例中另一种基于交叉辐射定标的气象遥感数据精度检验分析方法,包括:
步骤S802,对时间空间粗匹配后的遥感器和参考遥感器的观测数据进行数据标准化,提取粗匹配后的观测数据及相关参数数据,输出标准化结果。
其中,标准化数据内容包括遥感器和参考遥感器各通道观测数据、定标数据(经纬、纬度)、海陆模板数据、太阳卫星角度数据(天顶角、方位角)、时间数据和云检测数据等。
其中,预设数据格式为预先规范的数据格式。
具体地,在数据输入接口上,首先为了保证系统的可扩展性和一致性,要对输入的遥感器交叉粗匹配数据进行标准化处理,包括对数据的文件名、文件属性、文件格式、存储方式和数据管理等方面,生成系统内部定义的统一数据格式。
步骤S804,客户端根据标准化数据文件自适应显示内部数据列表。
步骤S806,接收客户端通过标准化接口设置时空匹配后的经纬度分析范围、设置匹配时间阈值、设置匹配数据角度阈值、筛选匹配数据海洋陆地类型、筛选地表类型,进行分区域、分类型数据提取、统计和分析。
具体地,客户端自适应显示目录下的标准化数据列表,用户选择一个标准化数据后,客户端自适应显示数据中的交叉匹配通道、遥感器和参考遥感器名称。目前支持但不限于遥感器时空匹配交叉数据的分析,还包括遥感器观测数据其他方法匹配的比对分析,比如仿真模拟比对分析、稳定目标比对分析等。在数据的管理上,采用文件系统的统一管理模式,通过文件系统分目录对各类型数据统一存储、管理与访问,通过在存储、中间件、应用系统等多个方面的优化设计来保证系统在存储、管理与访问上的效率。
步骤S808,支持对统计筛选后的数据进行空间分析、时空分析、匹配值分布分析、时间序列分析和相关性分析,支持分析报告的生成、可视化分析结果的批量下载和清空。
具体地,在用户确认分析结果后,可将相关配置参数、阈值和相关指令保存到数据库。每天的定时任务通过读取最新的静态参数文件或数据库相关配置参数信息获取调整的阈值参数和相关指令,每天可定时输出静态分析结果用于可视化展示和发布。实现用户按需定制化图片的自动更新和发布。
本实施例通过对遥感器时空粗匹配后的交叉分析数据进行标准化处理,然后按照命名规则统一命名,采用客户端和文件系统目录映射的方式自适应识别分析数据列表,能够有效管理和访问遥感器交叉分析数据。
进一步地,在上述方法实施例的基础上,具体包括:
客户端访问数据文件存放路径,通过匹配原则列出路径下所有可进行分析的数据,所有数据通过文件名区分。在客户端输入数据文件筛选条件,会自动列出匹配条件的数据,采用文件系统对各个产品文件进行统一存储、管理与访问。
具体地,在数据管理上,将所有遥感器时空匹配粗提取数据转换成一个具有遥感器参考遥感器说明、通道观测数据、定标数据、角度参数、时间等的产品对象,并且通过路径和文件名对各个产品对象进行管理,能够进行更有效的管理。
进一步地,在上述方法实施例的基础上,接收客户端通过标准化接口发送的数据筛选统计分析请求,对筛选后的交叉匹配数据进行统计分析,具体包括:
根据设置的开始和结束时间参数对文件中的相应时间段范围内的数据进行筛选,默认是整个文件中观测数据的时间长度。根据设置的参数阈值对粗提取后的观测数据进行精细化筛选,并支持精提取数据的下载。精细化筛选的参数设置有纬度的阈值设置、太阳天顶角度的阈值设置、卫星天顶角度的阈值设置、两个载荷卫星天顶角度偏差的阈值设置、匹配点时间偏差的阈值设置、海陆模板的参数设置、匹配块标准差的阈值设置等。
根据精细化筛选后的结果进行自由选择数据分析值计算,具体包括:
按照网页支持的数据分析类型:偏差、标准差、均方根误差和匹配点,可自由选择一种或多种数据分析类型。
根据数据分析类型按照选定的统计参数进行统计,具体包括:
获取精提取数据、数据分析类型和时间、经纬度,按照统计参数:时间粒度(1天、2天、3天、5天、10天、15天、30天和自然月等,但不限于此)、空间粒度(纬度:1度、2度和3度等,但不限于此)进行统计分析。
根据统计分析后的数据进行自由选择可视化分析,具体包括:
获取统计分析数据和时间、空间信息,进行偏差、标准差、均方根误差和匹配点个数的空间分布可视化分析、时空分布可视化分析、值分布可视化分析、时间序列可视化分析、数据相关性可视化分析。
通过对粗提取的数据进行定制化筛选统计,能够满足多种条件组合定制化分析,提高数据分析时效。
进一步地,在上述方法实施例的基础上,支持对可视化分析结果批量下载和清空、分析报告的生成,具体包括:
客户端按照图片命名规范拼接可视化分析结果文件名,清空输出的可视化图片列表,按照标准格式生成分析报告文档。
下面参照图9来描述根据本发明的这种实施方式的基于交叉辐射定标的气象遥感数据精度检验分析装置900。图9所示的基于交叉辐射定标的气象遥感数据精度检验分析装置900仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
基于交叉辐射定标的气象遥感数据精度检验分析装置900以硬件模块的形式表现基于交叉辐射定标的气象遥感数据精度检验分析装置900的组件可以包括但不限于:匹配模块902、标准化模块904、接收模块906、分类模块908、筛选模块910、发送模块912、分析模块914、统计模块916和可视化模块918。
匹配模块902用于,对遥感器和参考遥感器进行时空交叉匹配。
在上述实施例中,通过对多个遥感器气象数据进行交叉粗匹配处理,对遥感器获取的气象数据进行时空校准,来提高气象数据的可靠性。
标准化模块904用于,对时空交叉匹配后的遥感观测数据进行数据标准化,以得到标准化数据。
在上述实施例中,通过对多个标准化的遥感器交叉粗匹配数据进行标准化处理后划分为不同类型不同版本的数据,并进行统一存储、管理与访问,并采用网页自适应方式进行查询,能够有效管理和访问遥感器交叉匹配数据。
其中,数据标准化包括对数据的文件名、文件属性、文件格式、存储方式和数据管理等方面,生成系统内部定义的统一数据格式。
接收模块906用于,接收客户端通过标准化接口设置的筛选参数。
在上述实施例中,接收客户端通过标准化接口设置的筛选参数,譬如,时空匹配后的经纬度分析范围、设置匹配时间阈值、设置匹配数据角度阈值、筛选匹配数据海洋陆地类型、筛选地表类型,进行分区域、分类型精匹配数据提取和下载。
分类模块908用于,根据筛选参数对标准化数据进行分类。
在上述实施例中,在进行分区域和分类型精匹配数据提取和下载后,通过文件系统分目录对各类型数据统一存储、管理与访问,通过在存储、中间件、应用系统等多个方面的优化设计来保证系统在存储、管理与访问上的效率。
筛选模块910用于,根据客户端设置的筛选阈值对分类的标准化数据进行筛选处理。
发送模块912用于,将筛选处理后的标准化数据发送至客户端,以供客户端对接收的标准化数据进行可视化分析处理,分析处理包括空间分析、时空分析、匹配值分布分析、时间序列分析和相关性分析中的至少一种。
在上述实施例中,在客户端确认分析结果后,可将相关配置参数、阈值和相关指令保存到数据库。
进一步地,每天的定时任务通过读取最新的静态参数文件或数据库相关配置参数信息,获取调整的阈值参数和相关指令,每天可定时输出静态分析结果用于可视化展示和发布,实现客户端按需定制化图片的自动更新和发布。
在本公开的一个实施例中,分类模块908包括:
划分子模块9082,用于根据标准化数据按照遥感数据来源属性划分,遥感数据来源属性包括卫星名、参考卫星名、载荷名、参考载荷名和数据版本信息中的至少一种。
命名子模块9084,用于根据数据来源属性划分的结果和预设命名格式,对标准化数据进行命名。
在上述实施例中,通过对遥感器时空粗匹配后的交叉分析数据进行标准化处理,然后按照命名规则进行统一命名,采用客户端和文件系统目录映射的方式自适应识别分析数据列表,能够有效管理和访问遥感器交叉分析数据。
进一步地,客户端访问数据文件存放路径,通过匹配原则列出路径下所有可进行分析的数据,所有数据通过文件名区分。在客户端输入数据文件筛选条件,会自动列出匹配条件的数据,采用文件系统对各个产品文件进行统一存储、管理与访问。
具体地,在数据管理上,将所有遥感器时空匹配粗提取数据转换成一个具有遥感器参考遥感器说明、通道观测数据、定标数据、角度参数、时间等的产品对象,并且通过路径和文件名对各个产品对象进行管理,能够进行更有效的管理。
存档子模块9086,用于按照数据内容、数据通道和中心波长对命名后的标准化数据进行分类存档。
在上述实施例中,数据内容可以为温度分布、湿度分布、红外分布和云图等,但不限于此。
在本公开的一个实施例中,筛选模块910包括:
接收子模块9102,用于接收客户端设置的开始时间和结束时间。
在上述实施例中,客户端设置的开始时间和结束时间,对文件中的相应时间段范围内的数据进行筛选,可以采用整个文件中观测数据的时间长度。
确定子模块9104,用于根据开始时间和结束时间确定时间段范围,并确定属于时间段范围内的分类存档的标准化数据。
接收子模块9102还用于,接收客户端设置的筛选阈值。
筛选模块910还用于,根据筛选阈值对时间段范围内的标准化数据进行筛选处理。
在本公开的一个实施例中,所述筛选阈值包括气象数据的经纬度范围阈值、时间阈值、数据角度阈值、地表地形类型阈值中的至少一种。
在本公开的一个实施例中,数据角度阈值包括太阳天顶角度的阈值、卫星天顶角度的阈值、两个载荷卫星天顶角度偏差的阈值中的一种。
在本公开的一个实施例中,时间阈值包括匹配点时间偏差的阈值。
在本公开的一个实施例中,地表地形类型阈值包括海陆模板的参数和匹配块标准差阈值中的至少一种。
在本公开的一个实施例中,还包括:分析模块914,用于对经过筛选处理的标准化数据进行数据分析,数据分析包括偏差分析、标准差分析、均方根误差分析和匹配点分析中的至少一种。
在本公开的一个实施例中,客户端选择粗匹配后的长时间序列数据产品文件后,客户端的交互界面能够自适应显示文件中的所有通道和遥感器名称,选择相应通道和待分析遥感器数据1(Data1)、参考遥感器数据2(Data2)后可以对该文件中所有的全集粗匹配数据进行统计,包括Data1-Data2的偏差(BIAS)、标准差(STD)、均方根误差(RMSE)和粗匹配点数(DATA_COUNT)。
在本公开的一个实施例中,还包括:统计模块916,用于确定数据分析后的标准化数据的数据内容、数据类型和经纬度信息,并按照预设的时间粒度或空间粒度进行统计分析。
在上述实施例中,时间粒度可以包括1天、2天、3天、5天、10天、15天、30天和自然月等,空间粒度可以包括纬度1度、2度和3度等,但不限于此。
在本公开的一个实施例中,还包括:可视化模块918,用于对经过统计分析的标准化数据进行可视化分析,以生成标准化数据的可视化结果。
在上述实施例中,获取统计分析数据和时间、空间信息,进行偏差、标准差、均方根误差和匹配点个数,并进行可视化分析,譬如,空间分布可视化分析、时空分布可视化分析、值分布可视化分析、时间序列可视化分析、数据相关性可视化分析。
在本公开的一个实施例中,可视化结果包括偏差分析的结果、标准差分析的结果、均方根误差分析的结果和匹配点分析的结果中的至少一种。
在本公开的一个实施例中,可视化分析包括空间分布可视化分析、时空分布可视化分析、值分布可视化分析、时间序列可视化分析、数据相关性可视化分析中的至少一种。
在本公开的一个实施例中,筛选阈值包括气象数据的经纬度分析范围、匹配时间阈值、匹配数据角度阈值、海洋陆地类型和地表类型中的至少一种。
下面参照图10来描述根据本发明的这种实施方式的基于交叉辐射定标的气象遥感数据精度检验分析装置1000。图10所示的基于交叉辐射定标的气象遥感数据精度检验分析装置1000仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
基于交叉辐射定标的气象遥感数据精度检验分析装置1000以硬件模块的形式表现基于交叉辐射定标的气象遥感数据精度检验分析装置1000的组件可以包括但不限于:数据标准化模块1002、数据存储模块1004和数据分析模块1006。
数据标准化模块1002用于根据预设数据格式对遥感器时空匹配粗提取的数据进行标准化处理,生成标准化数据。
数据存储模块1004用于根据规范的数据文件名将标准化数据划分成不同卫星不同载荷不同参考卫星不同参考载荷不同数据版本粗匹配后的数据,根据数据内容、属性识别数据通道、中心波长等,采用文件系统和网页联合对各个产品对象进行统一存储、管理与访问。
数据分析模块1006用于接收客户端通过标准化接口发送的访问请求,根据用户对数据的选择和参数设置进行数据精提取,并根据精提取数据进行可视化分析,支持可视化结果的清空、批量下载和分析报告的生成。
具体地,数据标准化模块1002用于根据网页要求格式对时空粗匹配后的载荷遥感数据和参考载荷的遥感数据进行标准化处理,生成标准化数据。
数据存储模块1004用于将载荷不同数据版本与参考载荷的时空粗匹配结果按照统一的文件名规范生成相关文件,文件中数据内容将标准化数据划分成载荷与参考载荷观测数据、定标数据、海陆模板数据、太阳卫星角度数据和云检测数据等辅助数据,并采用文件系统对粗匹配后的数据文件进行统一存储、管理与访问。
数据分析模块1006具体用于根据用户需求对原始的粗提取数据进行精细化筛选,输出定制化分析结果,支持可视化结果的清空、批量下载和分析报告的生成。
本实施例通过对遥感器时空匹配粗提取数据进行标准化处理后命名为不同遥感器分析数据,进行统一存储、管理与访问。客户端根据关联目录自适应显示需要分析的标准化数据文件列表,能够有效识别、管理和访问遥感器时空匹配交叉分析数据。
进一步地,在上述装置实施例的基础上,数据存储模块1004具体根据不同卫星不同载荷不同参考卫星不同参考载荷不同数据版本将粗匹配后的数据按照统一的文件名规范生成相关文件,文件中数据内容将标准化数据划分成粗匹配后待分析载荷观测数据、参考载荷观测数据、待分析载荷定标数据、参考载荷定标数据、海陆模板数据、太阳卫星角度数据和云检测数据等辅助数据,并采用文件系统对粗匹配后的数据文件进行统一存储、管理与访问。
进一步地,在上述装置实施例的基础上,数据分析模块1006具体用于根据数据筛选条件对匹配得到的数据进行定制化分析,并根据当前设置的时间统计参数、空间统计参数和最大最小值对筛选结果进行时空分布分析、空间分布分析、值分布分析、时间序列分析和相关性分析。
下面参照图11来描述根据本发明的这种实施方式的电子设备1100。图11显示的电子设备1100仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图11所示,电子设备1100以通用计算设备的形式表现。电子设备1100的组件可以包括但不限于:上述至少一个处理单元1110、上述至少一个存储单元1120、连接不同系统组件(包括存储单元1120和处理单元1110)的总线1130。
其中,存储单元存储有程序代码,程序代码可以被处理单元1110执行,使得处理单元1110执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如,处理单元1110可以执行如图2至图8中所示的步骤,以及本公开的基于交叉辐射定标的气象遥感数据精度检验分析方法中限定的其他步骤。
存储单元1120可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)11201和/或高速缓存存储单元11202,还可以进一步包括只读存储单元(ROM)11203。
存储单元1120还可以包括具有一组(至少一个)程序模块11205的程序/实用工具11204,这样的程序模块11205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线1130可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备1100也可以与一个或多个外部设备1140(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备交互的设备通信,和/或与使得该电子设备1100能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1150进行。并且,电子设备1100还可以通过网络适配器1160与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。网络适配器1160通过总线1130与电子设备1100的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
在本公开的示例性实施例中,还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中,本发明的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在终端设备上运行时,程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
- 上一篇:石墨接头机器人自动装卡簧、装栓机
- 下一篇:异常预警方法与装置、存储介质、计算机设备