具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请实施例的一部分实施例，而不是全部的实施例。基于本申请实施例的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请实施例保护的范围。

本申请实施例提供了一种融合模型构建方法和融合模型使用方法，应用于服务器，服务器可以为个人电脑(Personal Computer，PC)、平板电脑、智能手机、个人数字助理(Personal Digital Assistant，PDA)等具有逻辑计算功能的电子设备。本方法能够根据目标作物群的遥感分类知识，构建对应的知识图谱，并将知识图谱与深度模型进行融合，以根据融合模型对目标作物群进行作物类型的分类，提高分类的准确率和精度。

请参阅图1，图1为本申请实施例提供的一种融合模型构建方法的流程示意图，包括以下步骤：

步骤S1，根据目标作物群的遥感分类知识构建静态知识图谱。

其中，根据遥感分类知识进行静态知识图谱的构建，知识图谱(Knowledge Graph，KG)，是指由实体和关系组成的多关系图，通过将应用数学、图形学、信息可视化技术、信息科学等学科的理论与方法与计量学引文分析、共现分析等方法，利用图像分类任务中的知识图思想，可以将类别之间的相关性视为知识图中的一种关系。应用范围从语义解析扩展到信息提取，显示知识发展进程与结构关系的一系列各种不同的图形，用可视化技术描述知识资源及其载体，挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。

值得说明的是，目标作物群的遥感分类知识可以包括通过卫星获取的卫星遥感影像数据(Remote Sensing Image，RS)与农业领域的领域知识。遥感分类知识能够分析不同作物对遥感信号的响应，获取不同作物的光谱、纹理、植被指数及其变化特征等数据。

可选地，在步骤S1之前，所述方法还包括步骤Sa1-Sa2：

步骤Sa1，接收目标作物群对应的影像数据。

其中，接收卫星或检测终端发送的目标作物群对应的影像数据，影像数据中包括目标作物群的影像特征，影像数据可以为记录各种地物电磁波大小的胶片或照片等图片信息，例如卫星照片或航空相片等。

示例地，影像数据可以为多时相Sentinel-2(哨兵2号)卫星遥感影像数据，也可以为其他卫星的影像数据。

步骤Sa2，对所述影像数据和所述目标作物群的领域知识进行结合，将结合结果作为遥感分类知识。

可选地，领域知识可以为农业领域的先验知识，例如来源于农业专家，文本形式的文献的数据、以网络结构数据的网页；影像特征可以包括不同作物影像光谱特征观测试验及其他分类先验知识，观测试验包括无人机观测与近地相机观测。示例地，获取领域知识的方式可以为接收农业专家或文本形式的文献。

值得说明的是，通过在目标作物群的场景对应的影像数据基础上，结合目标作物群对应的领域知识，能够获取与目标作物群对应的遥感分类知识，为后续根据遥感分类知识构建知识图谱提供准确的数据支持。

执行完步骤S1后，继续执行步骤S2。

步骤S2，根据各个时间点的所述静态知识图谱，构建动态知识图谱。

其中，由于遥感分类知识中包括时间数据，不同的时间点都具有对应的静态知识图谱，因此在每一个静态知识图谱中加入对应的时间数据，对静态知识图谱进行更新，以构建动态的知识图谱。

值得说明的是，各个时间点的静态知识图谱的模型构架相同，由于时间的变化，根据目标作物群产生的变化对静态知识图谱进行对应的填充，以得到各个时间点对应的静态知识图谱。

示例地，动态知识图谱中的时间知识演化表达，通过动态知识图谱的模型，知识随着时间的推移而发生、递归或演化。例如，动态知识图谱中可以包括某种作物在3、4、5三个月份中的生长状态，动态知识图谱随着该作物的生长，基于时间的变化进行相应地变化，根据时间维度的变化增加知识图谱的准确性和实时性。

执行完步骤S2后，继续执行步骤S3。

步骤S3，将所述动态知识图谱与深度学习模型进行融合，得到融合模型。

其中，所述融合模型用于对所述目标作物群的作物类型进行分类，有效地提高了作物分类的准确率、精度和计算效率，深度学习(Deep Learning，DL)是机器学习(MachineLearning，ML)领域中一个研究方向，深度学习是学习样本数据的内在规律和表示层次，在学习过程中获得的信息对诸如文字，图像和声音等数据。深度学习能够识别文字、图像和声音等数据。

可选地，步骤S3中还可以包括步骤S31-S32：

步骤S31，在深度学习模型中导入所述动态知识图谱。

其中，深度学习模型可以为基于受限玻尔兹曼机(Restricted BoltzmannMachine，RBM)的深度信念网络(Deep Belief Network，DBN)、基于自动编码器(AutoEncoder，AE)的堆叠自动编码器(Stacked Auto Encoders，SAE)；卷积神经网络(Convolutional Neural Networks，CNN)、递归神经网络(Recurrent Neural Networks，RNN)等模型中的任意一种。

步骤S32，根据所述知识图谱对所述深度学习模型进行训练，以对所述动态知识图谱与深度学习模型进行融合，得到融合模型。

可选地，以CNN为例，在进行融合训练时，可以先将遥感分类知识中的影像数据输入CNN卷积神经网络，输入COVN卷积层求卷积，将卷积层结果输入全连接层FLC(动画文件格式)，连接所有的特征，在模型构架中，全连接层之后增加了一个图卷积层，图卷积包含了动态知识图谱中的类相似性信息，得到最终的融合模型。

值得说明的是，通过深度学习模型与动态知识图谱的结合，能够在深度学习模型的基础上，将动态知识图谱代入进行训练，以将深度学习模型与动态知识图谱进行融合，获取融合模型。有效地提高了在遥感分类知识的基础上，根据深度学习模型进行作物类型分类时的精度和准确率。

在图1所示的实施例中，通过将动态知识图谱与深度学习模型进行融合，得到用于对目标作物群的作物进行分类的融合模型，能够在深度学习模型的基础上，结合具有时间序列的知识图谱，有效地提高了融合模型的分类准确率，使融合模型具有认知和推理能力，为智慧农业发展提供支撑。

请参阅图2，图2为本申请实施例提供的一种步骤S1的详细流程示意图，包括以下步骤：

步骤S11，获取所述遥感分类知识中所述目标作物群的作物类型。

其中，目标作物群中可以包括多个不同种类的作物类型，例如小麦、水稻、大豆等。

值得说明的是，可以对遥感分类知识进行概念和实体抽取，进行实体关系表达与量化，以获取目标作物群的作物类型之间的实体关系，根据实体关系计算目标作物群中各个作物类型之间的分类相似度。在概念和实体抽取中，可以先将遥感分类知识建模为一个三元组，建模方式如下：

KG＝{(s，r，o)|s，o∈E，r∈R}；

其中，KG表示静态知识图谱，E表示实体的集合，R表示本体中可能的关系集，s表示主体，r表示关系，o表示客体。在知识图谱的构建中，主体s是图谱构建的基本单位，合理的关系图构建可以使得实体的相关信息变得更加清晰，还有利于后续融合模型进行作物类型分类。选取遥感影像内所有可能的作物类型作为实体节点，如冬小麦、夏玉米、春玉米、高粱、大豆、水稻、棉花等。每一种作物都会伴随着遥感影像光谱特征或植被指数特征的表现，可以将其作为作物实体的属性值对其进行属性的填充。

执行完步骤S11后，继续执行步骤S12。

步骤S12，计算得到所述作物类型中任意两个作物类型之间的分类相似度。

其中，可以采用影像类别误分比的先验知识，例如，使用分类混淆矩阵或关联矩阵误差等方式表达分类相似度，关联矩阵计算类别对之间的交叉误差，隐含了类别之间的相似程度。

可选地，可以基于第一表达式计算所述作物类型中任意两个作物类型之间的分类相似度，所述第一表达式包括：

其中，assocB(C_i，c_j)表示所述作物类型中第i类型与第j类型的分类相似度，C_ij表示所述第i类型划分为所述第j类型的概率，N表示所述作物类型的类型数量。

执行完步骤S12后，继续执行步骤S13。

步骤S13，根据所述分类相似度获取每一个所述作物类型对应的关系子图。

其中，根据目标作物群中实体关系之间关联的分类相似度，建立单个作物类型的实体关系图，然后将每个相关的单个类型的实体关系图组合成关系子图，每个关系子图都是一个主类。

执行完步骤S13后，继续执行步骤S14。

步骤S14，根据多个所述关系子图，构建静态知识图谱。

其中，将所有关系子图进行组合，构建一个完整的静态知识图谱。

值得说明的是，若一个类的数据经常被误分类为另一个类，就认为这两个类有很高的相似性。

在图2所示的实施例中，通过对遥感分类知识进行概念和实体抽取，根据实体关系表达与量化对任意两种作物类型之间分类相似度计算的准确度进行获取，增加了各个关系子图的准确度，从而增加静态知识图谱的准确度，适用于多种具有不同作物类型的情况。

请参阅图3，图3为本申请实施例提供的一种步骤S2的详细流程示意图，包括以下步骤：

步骤S21，根据所述遥感分类知识，确定对应的时间数据。

可选地，可以将原有的静态知识图谱的三元组进行修改，得到四元组，四元组如下：

TKG＝{(s,r,o,t)|s,o∈E,r∈R,t∈T}；

其中，TKG表示动态知识图谱，t为时间，T为所有的时间戳集合。

值得说明的是，在深度学习算法在土地利用、覆盖分类、场景分类和物体检测的农业领域的检测中，将多时态遥感分类知识作为独立的多变量数据处理，忽略了时间维度，数据的时间和光谱维数都没有得到充分利用，导致分类效果较差。而获取的遥感分类知识的时间数据，可以捕捉到不同类别物体不同表现的时间模式知识，为深度学习算法添加基本而重要的认知和推理能力。

执行完步骤S21后，继续执行步骤S22。

步骤S22，根据所述时间数据计算各个时间点中归一化植被指数的时序相似性。

其中，根据动态知识图谱中的时间知识演化表达，在静态知识图谱的模型基础上，由于知识随着时间的推移而发生、递归或演化，可以根据时间序列遥感分类的实际，通过DTW(Dynamic Time Warping，动态时间规整)算法计算NDVI(Normalized DifferenceVegetation Index，归一化植被指数)形态时序相似性。

可选地，DTW距离，即动态时间规整距离，是基于动态规划的时序距离测量的主要方法之一，其原理如下：

设两条时间序列S¹(t)＝{s₁ ¹,s₂ ¹,…,s_m ¹}，S²(t)＝{s¹²,s₂ ²,…,s_n ²}，其长度分别为m和n。按照他们的时间位置进行排序，构造m×n矩阵A_m×_n。矩阵A_m×_n中的每个元素间距离为在矩阵A_m×_n中，把一组相邻的矩阵元素的集合称为弯曲路径，记弯曲路径为W＝{w₁,w₂,…,w_k}，W的第k个元素为w_k＝(a_ij)_k。将两个时间序列构成矩阵，矩阵中的值即元素间的距离(序列中相应元素之差开平方的平方根)。因此，DTW算法可以归结为运用动态规划思想寻找一条具有最小弯曲代价的最佳路径，即：

式中，i＝2,3,4,…,m，j＝2,3,…,n，A_m×n中弯曲路径的最小累加值D(m,n)。通过DTW距离进行时序距离的匹配，其时序点对点的对齐方式可以错位，以解决因物候或耕作方式造成同类作物生长条件的延滞，提高鲁棒性。将DTW距离作为作物类间的相似性先验知识进行学习。这样，随着遥感分类知识的加入，更新NDVI时序构建，根据构建的NDVI的时序相似性变化，不断更新模型，实现知识进化。

值得说明的是，可以使用ENVI(The Environment for Visualizing Images，遥感图像处理软件)等软件，基于python编程环境和上述公式，对各个时间点的NDVI动态时间规整距离DTW进行计算和处理，获得NDVI形态的时序相似性。

执行完步骤S22后，继续执行步骤S23。

步骤S23，将所述时序相似性添加到对应的所述静态知识图谱中，以对各个时间点的所述静态知识图谱进行更新，得到动态知识图谱。

其中，将NDVI形态的时序相似性加入到对应的静态知识图谱中，即在静态知识图谱中加入结构化时态维信息，完成动态知识图谱的构建。

在图3所示的实施例中，通过对各个时间点的时间数据中的时序相似性进行计算，在对应的静态知识图谱中添加相应的时序相似性进行更新，能够对静态知识图谱进行动态化，得到遥感分类知识对应的动态知识图谱。静态知识图谱随着时间的推移而变化、递归或演化，不断地对知识图谱进行更新，进行知识图谱的进化，以实现知识图谱与时间对应的动态化，有效地提高了动态知识图谱的精度、准确性和实时性。

请参阅图4，图4为本申请实施例提供的一种融合模型使用方法的流程示意图，包括以下步骤：

步骤S4，根据融合模型进行数据聚合，得到聚合信息。

其中，融合模型可以为上述实施例中任意一项融合模型构建方法中得到的融合模型，通过数据聚合，对隐数据进行表达，对类嵌入信息进行接收，并在类之间做卷积，并聚合邻域信息，得到对应的聚合信息。

执行完步骤S4后，继续执行步骤S5。

步骤S5，根据所述聚合信息进行数据输出，根据输出结果确定目标作物群中作物类型的分类结果。

其中，根据聚合信息进行数据输出，输出结果可以为新的数据和类嵌入，根据输出结果计算出分类结果，例如，新的数据和类嵌入被进一步用来计算类的得分，示例地，可以将输出结果输入Softmax(输出层激励函数)概率分类器中产生最终分类结果。

可选地，分类结果可以为图像、表格或文字的表达形式进行显示，服务器还可以将分类结果发送给对应的用户终端，例如检测人员、研究人员等工作人员的工作终端上，以供工作人员对分类结果进行查看和分析，服务器还可以接受工作人员根据分类结果提交的反馈数据，以提高分类结果的准确率，提升了用户的使用体验。

可选地，在步骤S5之后，所述方法还可以包括：

步骤S6，根据所述分类结果进行制图，得到制图数据。

其中，制图数据能够对目标作物群的作物类型以及分布位置进行对应的绘制，以供用户进行查看和分析，还可以对制图数据保存在历史数据库中，以供工作人员根据时间维度对目标作物群的作物类型进行纵向分析等操作。

可选地，通过对分类结果进行制图，能够对目标作物群的种群信息和分类结果进行对应地显示。以供用户对目标作物群的种群信息和分类结果进行直接地查看和分析，提升了融合模型的使用体验，满足多种用户需求。

在图4所示的实施例中，通过对融合模型构建方法中构建得到的融合模型进行聚合和输出，能够对目标作物群的作物类型进行准确地分类，得到对应的分类结果，以实现融合模型在农业中的相应使用。

请参阅图5，图5为本申请实施例提供的一种融合模型构建装置的结构示意图，该融合模型构建装置100包括：

静态模块110，用于根据目标作物群的遥感分类知识构建静态知识图谱；

动态模块120，用于根据各个时间点的所述静态知识图谱，构建动态知识图谱；

融合模块130，用于将所述动态知识图谱与深度学习模型进行融合，得到融合模型，其中，所述融合模型用于对所述目标作物群的作物类型进行分类。

静态模块110还包括计算子模块和图谱子模块；

计算子模块，用于获取所述遥感分类知识中所述目标作物群的作物类型；

计算得到所述作物类型中任意两个作物类型之间的分类相似度；

图谱子模块，用于根据所述分类相似度获取每一个所述作物类型对应的关系子图；

根据多个所述关系子图，得到静态知识图谱。

计算子模块，还用于基于第一表达式计算所述作物类型中任意两个作物类型之间的分类相似度，所述第一表达式包括：

其中，assocB(C_i，c_j)表示所述作物类型中第i类型与第j类型的分类相似度，C∈R^N*N表示关联矩阵，C_ij表示所述第i类型划分为所述第j类型的概率，N表示所述作物类型的类型数量。

动态模块120还包括：时序子模块和更新子模块；

时序子模块，用于根据所述遥感分类知识，确定对应的时间数据；

根据所述时间数据计算各个时间点中归一化植被指数的时序相似性；

更新子模块，用于将所述时序相似性添加到对应的所述静态知识图谱中，以对各个时间点的所述静态知识图谱进行更新，得到动态知识图谱。

融合模块130还包括：导入子模块和训练子模块；

导入子模块，用于在深度学习模型中导入所述动态知识图谱；

训练子模块，用于根据所述知识图谱对所述深度学习模型进行训练，以对所述动态知识图谱与深度学习模型进行融合，得到融合模型。

融合模型构建装置100还包括：结合模块；

结合模块，用于接收目标作物群对应的影像数据；

对所述影像数据和所述目标作物群的领域知识进行结合，将结合结果作为遥感分类知识。

由于本申请实施例中的融合模型构建装置中解决问题的原理与前述的融合模型构建方法实施例相似，因此本实施例中的融合模型构建装置的实施可以参见上述融合模型构建方法的实施例中的描述，重复之处不再赘述。

在图5所示的实施例中，通过各个模块构建得到的融合模型，能够在深度学习模型的基础上，结合具有时间序列的知识图谱，有效地提高了融合模型的分类准确率，使融合模型具有认知和推理能力，为智慧农业发展提供支撑。

请参阅图6，图6为本申请实施例提供的一种融合模型使用装置的结构示意图，该融合模型使用装置200包括：聚合模块210和输出模块220。

聚合模块210，用于根据实施例1中任意一项融合模型构建方法中得到的融合模型进行数据聚合，得到聚合信息；

输出模块220，用于根据所述聚合信息进行数据输出，根据输出结果确定目标作物群中作物类型的分类结果。

融合模型使用装置200还包括：制图模块230；

制图模块230，用于根据所述分类结果进行制图，得到制图数据。

由于本申请实施例中的融合模型使用装置中解决问题的原理与前述的融合模型使用方法实施例相似，因此本实施例中的融合模型使用装置的实施可以参见上述融合模型使用方法的实施例中的描述，重复之处不再赘述。

在图6所示的实施例中，通过各个模块对融合模型进行使用，能够对目标作物群的作物类型进行准确地分类和显示，得到对应的分类结果和制图数据，以实现融合模型在农业中的相应使用。

本申请实施例还提供了一种电子设备，该电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器读取并运行所述程序指令时，执行本实施例提供的融合模型构建方法和融合模型使用方法中任一项所述方法中的步骤。

应当理解是，该电子设备可以是个人电脑(Personal Computer，PC)、平板电脑、智能手机、个人数字助理(Personal Digital Assistant，PDA)等具有逻辑计算功能的电子设备。

本申请实施例还提供了一种可读取存储介质，所述可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行融合模型构建方法和融合模型使用方法中的步骤。

综上所述，本申请提供一种融合模型构建方法、融合模型使用方法、装置和电子设备，根据需要进行作物类型分类的作物群的遥感分类知识进行知识图谱的构建，通过将知识图谱与深度学习模型进行融合训练，能够提高融合模型对作物类型进行分类的准确率，为智慧农业发展提供支撑。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的框图显示了根据本申请的多个实施例的设备的可能实现的体系架构、功能和操作。在这点上，框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图中的每个方框、以及框图的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。因此本实施例还提供了一种可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行区块数据存储方法中任一项所述方法中的步骤。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(RanDom Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。