具体实施方式

下面将详细描述本发明的具体实施例，应当注意，这里描述的实施例只用于举例说明，并不用于限制本发明。在以下描述中，为了提供对本发明的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的电路、材料或方法。

在整个说明书中，对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着：结合该实施例或示例描述的特定特征、结构或特性被包含在本发明至少一个实施例中。因此，在整个说明书的各个地方出现的短语“在一个实施例中”、“在实施例中”、“一个示例”或“示例”不一定都指同一实施例或示例。此外，可以以任何适当的组合和/或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。

应当理解，当称元件“耦接到”或“连接到”另一元件时，它可以是直接耦接或连接到另一元件或者可以存在中间元件。相反，当称元件“直接耦接到”或“直接连接到”另一元件时，不存在中间元件。

此外，这里使用的术语“和/或”包括一个或多个相关列出的项目的任何和所有组合。

将理解的是，与术语相应的单数形式的名词可包括一个或更多个事物，除非相关上下文另有明确指示。如这里所使用的，诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述部件。

如这里所使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如，根据实施例，可以以专用集成电路(ASIC)的形式来实现模块。

应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。除非本文另有明确定义，否则所有术语将给出其最广泛的可能解释，包括说明书中暗示的含义以及本领域技术人员理解的和/或字典、论文等中定义的含义。

此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。对于附图的描述，相似的参考标号可用来指代相似或相关的元件。以下将参考附图对本公开进行示例性描述。

需要说明的是，近年来人工智能以及深度学习技术不断发展，并逐步走向产品化，利用人工智能手段实现安防查验变得顺其自然。目前，利用人工智能手段对透视图像进行查验的技术已经存在，但是现有的人工智能手段更偏向于针对透视图像中的集装箱查验的智能化方向，更多的针对风险预判。

图像检索技术已被广泛应用，主要集中于自然图像检索和医学透视图像检索。目前针对透视图像的检索技术也已经存在，但是现有的技术是利用传统机器学习对透视图像进行检索，没有考虑透视图像的语义信息，未对语义要素进行提取，即只针对图像整体进行检索，对整个透视图像区域检索显得有些粗糙和不准确。然而，事实上，视觉形态多样的同种物体或是多种物体大概率会出现在同一透视图像中，此时为了对每一独立区域进行彻底查验，对透视图像中的每一视觉可分的图像区域进行单独检索是非常必要的。

为了解决如上所述的问题，本公开的实施例提供了一种用于更高效且更精确的基于语义的透视图像检索方法以及执行该方法的装置，所述方法包括：由透视图获取装置获得针对其中包括被查验对象的空间的透视图像；利用第一方法对所述透视图像进行语义划分，以获得多个语义区域单元；利用第二方法构建特征提取网络；基于所述透视图像及其所述多个语义区域单元中的每个语义区域单元，利用所述特征提取网络提取针对每个语义区域单元的特征；以及基于针对每个语义区域单元的特征，从图像特征库中检索与该语义区域单元最相似的图像区域，以用于辅助确定或理解该语义区域单元中的被查验对象。

以下将参考附图并结合具体实施例详细阐述本公开。

为了清楚和便于描述，在以下描述中，以集装箱作为包括被查验对象的空间的具体示例，相应地，以集装箱中的货物作为被查验对象的具体示例。然而，本领域技术人员应当理解，集装箱、货物以及相对应地描述性词语(例如，基于语义的集装箱货物检索方法、基于语义的集装箱货物检索装置等)均不具有限制作用，仅旨在便于描述。本领域技术人员可以基于该方法的使用场景不同而相应地替换描述性词语。

图1示意性示出了根据本公开实施例的基于语义的集装箱货物检索方法的系统架构100。

该系统架构100可以包括透视图获取装置101、集装箱102、中央处理单元103以及存储装置104，其中透视图获取装置101、处理装置103以及存储装置104可以彼此通信。

透视图获取装置101可以被配置为对集装箱102进行透视拍摄，以获得集装箱102内部的货物透视图。

尽管在图1中将透视图获取装置示出为仅一个，但是本领域技术人员应当理解，透视图获取装置可以为两个或者甚至更多个。此外，透视图获取装置可以被设置在相对于集装箱102不同的位置处。

中央处理单元103可以被配置为：从透视图获取装置102获取货物透视图，对货物透视图进行语义划分，以将货物透视图中的货物占用的区域划分成多个语义区域单元，并且针对多个语义区域单元中的每个语义区域单元进行检索，以帮助理解或确定每个语义区域单元中货物。

中央处理单元103可以包括处理器(未示出)和通信模块(未示出)等。

中央处理单元103的处理器可以被配置为执行与基于语义的集装箱货物检索方法相关联的任何操作。

通信模块可以包括能够与处理器(例如，应用处理器(AP))独立操作的一个或更多个通信处理器，并支持有线通信和/或无线通信。根据本公开实施例，通信模块可以包括无线通信模块(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块(例如，局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络(例如，短距离通信网络，诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络(例如，长距离通信网络，诸如蜂窝网络、互联网、或计算机网络(例如，LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如，多个芯片)。无线通信模块可使用存储在用户识别模块中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络或第二网络)中的电子装置。

此外，中央处理单元103还可以包括显示器、麦克风等，以用于显示或播报当前正被检索的区域中的货物的相关信息(例如，类别等)。

存储装置104可以被配置为存储中央处理单元103执行与基于语义的集装箱货物检索方法相关联的任何操作时所需和/或产生的数据、指令等。

在一个示例性实施例中，存储装置104可以存储历史货物图像、货物图像相关联的申报信息、图像流水号、历史图像中的每个货物区域在其所处的图像中的坐标、每个货物区域的特征、每个区域中的货物申报信息、表征区域中的货物的广义类别信息、品名税号等等。

以上仅列出了存储在存储装置104中的若干示例信息，本领域技术人员应当理解，根据需求、特定实现方式、操作等，可以在存储装置104中存储各种信息。

图2示意性示出了根据本公开实施例的基于语义的集装箱货物检索方法的流程图。

如图2所示，该方法包括如下操作。

在操作S201中，透视图获取装置对集装箱进行透视成像，由此获得集装箱内的货物透视图，从而可以清楚地看到货物的占用区域。

在操作S203中，中央处理单元从透视图获取装置获取货物透视图，并且利用第一方法对所获取的货物透视图进行语义划分，从而将货物透视图中货物所占区域的图像划分成多个语义区域单元。

在示例性实施例中，多个语义区域单元彼此之间的交叠程度较小，例如，交叠区域占每个语义区域单元的10％、5％、3％或者更小。

优选地，语义区域单元的边缘彼此重叠，但不存在交叠区域。

对货物透视图进行语义划分意指按照货物的视觉形态或者摆放形式将货物占据区域拆分成肉眼可分区域，例如如图3中所示。将货物透视图进行语义划分，图3中的每一虚线框区域为货物的每一语义单元区域，并且所有语义单元区域覆盖整个货物部分。以后的操作均是以语义区域单元为基本单位执行的。

在示例性实施例中，用于对货物透视图进行语义区域划分的第一方法可以包括但不限于选择性搜索(selective search)、似物性objectness技术、以及在深度学习中广泛使用的区域推荐网络(Region Proposal Net，RPN)等。

在本实施例中，将以RPN技术为例进行描述。

RPN技术对大量人工标注的物体框进行学习以获得第一模型。在对货物透视图进行语义区域划分期间，首先使用第一模型预测出类似于标注时的物体框，对图像的物体区域进行推荐。

需要说明的是，由于货物查验需求，本申请中的物体框需要覆盖全部货物区域，因此本申请中使用的RPN网络与常规目标检测中使用的有所不同，需要在预测出物体框的基础上，对RPN网络的目标函数进行进一步限定，以使得物体框最终完全覆盖货物区域。

在操作S205中，中央处理单元利用第二方法构建特征提取网络。其中，第二方法与上述第一方法不同。

在示例性实施例中，第二方法可以是但不限于在基础网络Resnet中引入特征金字塔网络FPN网络结构。

在操作S207中，基于在操作S201中获得的货物透视图和在操作S203中获得的多个语义区域单元，利用特征提取网络提取每个语义区域单元的特征。

在操作S209中，基于每个语义区域单元的特征，从图像特征库中检索与该语义区域单元最相似的图像，以用于帮助确定或理解该语义区域单元中的货物。

示例性地，与该语义区域单元最相似的图像视情况而定可以是一幅最相似的图像，也可以是多个相似度最高的图像。

在本申请中，由于进行检索的基本单元是语义划分后的每一语义区域单元，因此需要获得每个语义区域单元的特征。

图4示意性示出了根据本公开实施例的用于提取每个语义区域单元的特征的第一实施例的流程图。

如图4所示，该方法包括如下操作。

在操作S401中，对每一语义区域单元执行归一化操作，从而获得固定大小的语义区域单元。

在操作S403中，将归一化后的语义区域单元输入到特征提取网络中。

在操作S405中，利用特征提取网络对输入的归一化后的语义区域单元进行处理，从而获得该语义区域单元的特征。

图5示意性示出了根据本公开实施例的用于提取每个语义区域单元的特征的第二实施例的流程图。

如图5所示，该方法包括如下操作。

在操作S501中，将整张货物透视图输入到特征提取网络中。

在操作S503中，利用特征提取网络对输入的整张货物透视图进行处理，从而获得整张货物透视图的特征图。

示例性地，利用FPN网络获得整张货物透视图的P4层特征图。

在操作S505中，基于每个语义区域单元在整张货物透视图中的坐标，从所获得的整张货物透视图的特征图中截取针对该语义区域单元的特征。

图6示意性示出了根据本公开实施例的用于提取每个语义区域单元的特征的第三实施例的流程图。

如图6所示，该方法包括如下操作。

操作S601至S605中的操作与图5中的操作S501至S505中的操作一致，在此不再赘述。

在操作S607中，对所获得的针对每个语义区域单元的特征进行特征维度固定操作，从而使得针对每个语义区域单元的特征被归一化成相同大小的特征维度。

示例性地，可以采用Roi-pooling执行特征维度固定操作。

图7示意性示出了根据本公开实施例的用于针对每个语义区域单元执行检索的流程图。

如图7所示，该方法包括如下操作。

在操作S701中，利用历史图像构建图像特征库。

示例性地，用于构建图像特征库的历史图像中的每一个图像可以是类别单一且无嫌疑物的图像。

示例性地，用于构建图像特征库的历史图像以及正被检索的货物透视图可以具有条目信息。示例性地，条目信息可以包括但不限于图像流水号、每一语义区域单元在其货物透视图中的坐标、每个区域的特征表示、货物申报信息、表征货物的广义类别信息(例如，品名税号或者图像货物整体特征)。

在操作S703中，基于整张货物透视图的条目信息，从图像特征图中检索出预选图像。

在操作S705中，针对每一语义区域单元，基于针对语义区域单元的特征从预选图像中选择相似度最高的图像。

在示例性实施例中，相似度最高的图像可以为一张或多张。

在示例性实施例中，可以基于欧式距离来确定相似度最高的图像的方法。

在备选实施例中，可以将全部特征库中的图像作为预选图像，然后从该全部的图像中找出与之相似的图像(一个或多个)。

图8示意性地示出了根据本公开实施例的基于语义的集装箱货物检索装置800的框图。

如图8所示，基于语义的集装箱货物检索装置800可以包括透视图获取模块810、图像语义划分模块830、特征提取模块850以及图像检索模块870。

透视图获取模块810可以被配置为获得集装箱内的货物透视图。

图像语义划分模块830可以被配置为利用第一方法对货物透视图进行语义划分，以获得多个语义区域单元。

特征提取模块850可以被配置为利用第二方法构建特征提取网络；以及基于所述货物透视图及其所述多个语义区域单元中的每个语义区域单元，利用所述特征提取网络提取针对每个语义区域单元的特征。

图像检索模块870可以被配置为基于针对每个语义区域单元的特征，从图像特征库中检索与该语义区域单元最相似的图像，以确定该语义区域单元中的货物的类别。

除了以上模块810、830、850和870之外，基于语义的集装箱货物检索装置800还可以包括其他模块，用于对应地执行上述各种操作。

例如，基于语义的集装箱货物检索装置800还可以包括显示模块，用于向用户显示各种信息(例如，展示历史相似图像和匹配信息)。

此外，除了上述由模块810、830、850和870执行的操作之外，模块810、830、850和870还可以适应性地执行上文描述的操作中的任何合适的操作。

为了清楚和简洁起见，在此不再赘述各个模块及其中所执行的对应操作。

根据本公开的实施例的多个模块的功能可以在一个模块中实现。根据本公开实施例的一个模块可以被拆分成多个模块来实现。根据本公开实施例的模块可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

根据本公开的实施例，上述模块中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。可选地，上述模块中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图9示意性示出了根据本公开实施例的适于实现上文描述的基于语义的集装箱货物检索方法的电子设备的方框图。图9示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图9所示，根据本公开实施例的电子设备900包括处理器901，其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。处理器901例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器901还可以包括用于缓存用途的板载存储器。处理器901可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM 903中，存储有电子设备900操作所需的各种程序和数据。处理器901、ROM902以及RAM 903通过总线904彼此相连。处理器901通过执行ROM 902和/或RAM 903中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM902和RAM 903以外的一个或多个存储器中。处理器801也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

根据本公开的实施例，电子设备900还可以包括输入/输出(I/O)接口905，输入/输出(I/O)接口905也连接至总线904。电子设备800还可以包括连接至I/O接口905的以下部件中的一项或多项：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。

根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被处理器901执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 902和/或RAM 903和/或ROM 902和RAM 903以外的一个或多个存储器。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。