具体实施方式

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同的对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法或设备固有的其他步骤或单元。

图1是本申请提出的一种生物医疗影像系统，该系统中包括外部主机101和图像设备102，该外部主机101位于腔体103外，该图像设备位于腔体103内。外部主机和图像设备可以通过无线通信技术交互，该无线通信技术包括但不限于UWB、蓝牙、WiFi、ZigBee等技术。该腔体103包括胃部等人体内脏，该外部主机包括但不限于胃镜主机，可用于实时查看、处理图像设备102发送的内脏内部的图片。

该图像设备包括图像传感器、信号收发器和定位器，该图像传感器用于捕获腔体内的图像，信号收发器用于与外部主机进行信号传输，定位器用于控制图像设备的位置。例如，该定位器可以是磁感应部件，外部操作人员可以通过控制腔体外部的磁设备来控制磁感应部件，以固定、移动或者翻转该图像设备。

进一步的，该图像设备还可以通过特殊的结构设计以维持特定的角度和方向，例如，可以将图像设备的整体重心设置于底部，图像设备的图像传感器位于顶部，使得图像传感器的方向总是朝上，以便于拍摄到最大视野的图像。图像设备还可以包括红外测距部件，用于确定当前位置。

其中，图像设备的尺寸较小，可以置入封闭腔体（如胃腔）中，而由于图像设备尺寸较小，无法放入较大的处理器和存储器，因此，图像设备的数据处理能力相对于外部主机更弱。该图像设备可以是胶囊胃镜或者其他类似的部件。

外部主机位于腔体外，包括图像显示装置，可以实时呈现图像装置发送的图片。外部主机体积较大，可以置入体积更大、性能更高的处理器和存储器，可以承担较为复杂的图像处理任务，其图像识别、处理能力更强。外部主机可以是与胶囊胃镜耦合的主机系统。

以上对生物医疗影像系统的介绍仅是一种示例，不表明本申请仅仅限于生物医疗影像系统，本申请的方案亦可用于其他类型的腔体探测。

图2是本申请提出的一种用于生物医疗影像的图像处理方法示意图，该方法包括以下内容：

201、图像设备捕获目标物体的第一图像，所述图像设备位于目标物体的腔体内；确定所述第一图像中的第一待识别区域，所述第一待识别区域包括待测特征。其中，该目标物体包括胃部等人体内脏，也可以是其他具有封闭腔体的物体。

在捕获第一图像之前，外部操作人员可以通过磁感应等方式控制图像设备的传感器方向和/或图像设备的坐标等参数。在另一种可能的实施方式中，图像设备通过红外测距部件等装置确定自身的位置信息，通过外部磁感应装置调整图像传感器的角度，以便于拍摄到合适的图像，本申请对此不作过多限制。

在获得第一图像之后，确定第一图像中的第一待识别区域，第一待识别区域包含待测特征。其中，该待测特征为外部操作人员欲进行检测的特征。以胃部影像拍摄为例，若外部操作人员欲检测胃炎、胃部肿瘤等疾病，需要关注胃部影像中颜色、形状异常的区域，而该区域中颜色、形状异常的物体即为待测特征，可用于进一步判断是否为炎症或者肿瘤的表现。

进一步的，可以采用Selective Search模型或者Sliding Window模型扫描所述第一图像，将所述第一图像中包括待测特征的候选区域作为第一待识别区域。

使用sliding window方法中，使用滑动窗口区域对整幅图像进行遍历，然后利用目标识别算法（例如SVM分类算法或者CNN算法）对所有的候选框进行检查。这实际上是一个遍历穷举的过程，该过程消耗的时间较多，但可以适应更多的图像情况。Selective Search主要通过图像的颜色、文理、形状或者大小等性质将原始的输入图像划分成等级区域，再对各个区域进行检查，这可以有效减低候选框的数量，提高识别速度。

202、确定与图像设备的位置信息相关联的第二待识别区域；通过所述第二待识别区域对所述第一待识别区域进行修正，获得目标识别区域。

在一种可能的实现方式中，图像设备获取所述图像设备的位置信息，将所述位置信息发往所述外部主机，以使所述外部主机执行：将所述位置信息输入预测模型，输出所述第二待识别区域，将所述第二待识别区域发往所述图像设备；其中，所述预测模型为所述外部主机根据携带有人工标注和拍摄位置的历史图像训练得到的模型；所述图像设备从所述外部主机处接收所述第二待识别区域。

其中，图像设备可以通过红外测距装置获取图像设备在腔体内的位置。

在一种可能的实现方式中，由外部主机通过磁感应装置控制或定位图像设备的位置，以此获得图像设备的位置信息。

其中，该位置信息表示图像设备在腔体中的位置，该位置信息可以是一维、二维或者三维坐标。

该位置信息可以为一维坐标。以胶囊胃镜系统为例，当患者仰躺或者卧躺在床上时，通过磁感应装置控制胶囊胃镜在患者胃部的位置坐标，该位置坐标表示胶囊胃镜进入患者胃部的深度，该胶囊胃镜的图像传感器朝上（可以通过特定的结构设置或者磁感应来加以控制），可以拍摄得到较大视野的胃部图像。该位置信息也可以是二维坐标，用于表示胶囊胃镜在胃部水平面上的位置，其处理方式与一维坐标类似，此处不多作赘述。

在外部主机获得位置信息之后，将位置信息输入预测模型中，预测在该位置下的重点区域，该重点区域为易于出现显著特征（例如疾病症状）的区域，该区域即为第二待识别区域。

该预测模型由外部主机训练，训练的方法为：获取携带有人工标注和拍摄位置的历史图像，所述人工标注的区域包含待测特征；根据所述拍摄位置和人工标注的区域的位置对第二神经网络模型进行训练，获得所述预测模型。

以胶囊胃镜系统为例，该历史图像可以是由传统的导管电子胃镜拍摄的图像，该人工标注为医务人员标注的患病区域，该拍摄位置表示图像传感器在胃部的位置。根据这些数据对神经网络模型进行训练，可以获得预测模型，该预测模型可以根据当前图像传感器的位置，预测出发生疾病概率较大的第二待识别区域。

在图像装置获得第二待识别区域后，采用第二待识别区域对第一待识别区域进行修正。其中，该修正方法包括：

确定所述第一待识别区域的边界和所述第二待识别区域的边界；

根据所述第一待识别区域的边界和所述第二待识别区域的边界确定所述第一待识别区域和所述第二待识别区域的外切方形区域，当该外切方形区域小于第二阈值时，将所述外切方形区域作为所述目标识别区域。在此步骤中，若外切方形区域过大，则图像剪裁的区域过大，无法起到降低图像数据量的效果。此时可以采取重新修正的方式进行补正。

在一种可能的实现方式中，对所述第一待识别区域进行修正的方法还可以是：确定所述第一待识别区域的第一中心点和所述第二待识别区域的第二中心点，当所述第一中心点和第二中心点之间的距离大于第一待识别区域的边长且小于第一待识别区域和第二待识别区域的边长之和时，以所述第一中心点和第二中心点为圆心构建特征椭圆，将所述特征椭圆的外切长方形作为目标识别区域。若两个识别区域的中心点距离适中，则可以采用外切椭圆的方式合并两个特征区域，即以所述第一中心点和第二中心点为圆心构建特征椭圆，将所述特征椭圆的外切方形作为目标识别区域，可以较全面地涵盖两个待识别区域的特征。其中，若该外切长方形的任意一边超出第一图像区域，则将外切长方形收缩至第一图像区域以内。

在本申请中，由于图像装置（例如进入胃部的胶囊胃镜）的尺寸较小，只具备小尺寸的处理器和存储器，无法提供较为强大的算力和存储容量，因此，图像装置计算获得的第一待识别区域可能准确度不够，容易出现特征遗漏的问题，采用第二待识别区域对第一待识别区域进行修正，可以避免特征遗漏。

203、从所述第一图像中分割出所述目标识别区域对应的图像，得到目标图像；其中，所述目标图像包括所述待测特征，所述目标图像的尺寸小于所述第一图像的尺寸。

其中，该第一图像为高清图像或者超清图像，这可以提高图像识别的效果。

在确定目标识别区域后，从原始图像中裁剪出目标识别区域的图像，该目标识别区域的图像包含原始图像中最重要的内容，图像设备仅仅将该部分图像发往外部主机，可以有效较低传输的数据量，即便该图像为高清图像、超清图像或者更高质量的图像，也可以实现实时显示、处理的效果。

204、获取第二图像，所述第二图像的图像质量低于所述第一图像的图像质量；确定所述第二图像的第三待识别区域；从所述第二图像中分割出第三待识别区域对应的图像，得到参考图像；其中，所述参考图像包括所述待测特征，所述参考图像的尺寸小于所述第二图像的尺寸。

其中，参考图像的获取方式与目标图像的获取方式近似，由于参考图像的作用仅仅是进行目标图像验证而不参与图像分类过程，故不需要较高的清晰度，也不需要进行修正，这可以降低信号传输的负担。

205、采用无线通信技术将所述目标图像和所述参考图像发往外部主机，以使所述外部主机执行：在目标图像和参考图像的相似度大于第一阈值的情况下，将所述目标图像输入第一神经网络模型，输出所述目标图像的类型；其中，所述外部主机位于所述目标物体的腔体外。

为了提高图像传输的质量，图像装置可以在信号质量大于第三阈值的情况下，通过无线通信技术将所述目标图像和所述参考图像发往外部主机。

进一步的，在外部主机获得图像装置捕获的图像之后，还可以执行：将所述参考图像进行单应性变换，获得第二参考图像，所述第二参考图像的视角与所述目标图像的视角一致；计算目标图像和所述第二参考图像的相似度；在相似度大于阈值的情况下，将所述目标图像输入第一神经网络模型。

在拍摄过程中，由于腔体的运动（例如胃部运动）或者图像装置的移动，使得拍摄的第一图像和第二图像的视角存在差异，故在比对两个图像时，可以进行单应性变换，以使二者视角一致，使得比对结果更准确。

其中，单应性变换的矩阵可以表示为：，从两张图片中 获得四组以上的对应点，代入单应性矩阵对应的方程：，可以求得上述单应性矩阵。其中，该四组 对应点可以是参考图像进一步确定的待测特征的边界的四个端点，以及目标图像进一步确 定的待测特征边界的四个对应端点。

在本申请中，由于腔体封闭以及腔体本身的干扰（例如人体电流），图像装置将图像发往外部主机过程中容易被干扰和阻隔，这使得图像传输可能发生错误，采用图像质量较低的参考图像对目标图像进行验证，可以在不大幅增加信号传输负担的情况下避免图像错误，提高图像识别准确率。

将裁剪之后的目标图像发往外部主机，而不是直接将原始图像发往外部主机，可以使得数据传输量减少为原来的1/4~1/9，可以有效地降低外部主机和图像装置之间的数据交互量，提高外部主机显示图像的实时性。

进一步的，所述第一神经网络模型包括第三神经网络和第四神经网络，所述第三神经网络的参数基于第一历史数据训练得到，所述第四神经网络的参数基于第二历史数据得到，所述第一历史数据的属性与所述第二历史数据的属性相异，将所述目标图像输入第一神经网络模型，输出所述目标图像的类型，包括：将所述目标图像分别输入第三神经网络和第四神经网络，当第三神经网络的输出类别与第四神经网络的输出类别一致时，将输出类别作为所述目标图像的类型。

其中，上述属性可以是性别、年龄段以及是否存在关联症状等属性，不同属性的训练数据会使得神经网络模型的训练结果存在差异。以反向传播神经网络为例，在胃部图像分类中，输入层到隐含层之间的权重矩阵为[w1,w2;w3,w4]；以误差为约束条件，选择性别为女性的历史数据进行训练，在经过梯度下降训练之后，在误差收敛的情况下获得该权重矩阵值为[w1,w2;w3,w4]=[0.15,0.20;0.25,0.30]。以性别为男性的历史数据进行训练，再次获得权重矩阵值为[w1,w2;w3,w4]=[0.16,0.20;0.27,0.29]。在获得两组权重矩阵之后，将以上两组权重矩阵分别作为两个反向传播神经网络的参数，将目标图像分别输入两个神经网络，若二者输出类别一致，则输出类别为目标图像的类型。此外，此处的第三神经网络和第四神经网络仅仅是一种示例，由于外部主机的算力充足，本申请的方案可以采用更多数目的神经网络对图像进行分类。

由于目标图像是在原始图像的基础上进行裁剪的图像，可能会使得图像信息缺失而无法很好地确定图像类别。采用两个以上参数不同的神经网络进行目标图像的类别的判断，可以避免识别错误，提高识别的准确率。

采用本申请的方案，可以将图像设备拍摄到的原始图像依据特征区域进行剪裁，并获得包括待测特征的目标图像，目标图像的数据量小于原始图像，在将图像传输到外部主机时，可以实现在信号环境较差的情况下，将主要的检测信息发送出去，可以在相同的带宽和信号质量下传输更多的信息，提高外部主机显示、处理图像的实时性。同时，采用多个参数不同的神经网络对目标图像进行识别，可以降低误判率，最大限度降低图像剪裁带来的不良影响。

图3是本申请实施例提供的用于生物医疗影像系统的图像处理方法示意图。

301、图像设备捕获目标物体的第一图像，所述图像设备位于目标物体的腔体内。

302、图像设备确定所述第一图像中的第一待识别区域，所述第一待识别区域包括待测特征。

303、图像设备接收来自外部主机的位置信息，确定与图像设备的位置信息相关联的第二待识别区域；通过所述第二待识别区域对所述第一待识别区域进行修正，获得目标识别区域。

304、图像设备从所述第一图像中分割出所述目标识别区域对应的图像，得到目标图像。

305、图像设备获取用于对目标图像进行验证的参考图像；其中，所述参考图像包括所述待测特征。

306、图像设备采用无线通信技术将所述目标图像和所述参考图像发往外部主机。

307、外部主机对参考图像进行单应性变换，并计算目标图像和参考图像的相似度，在目标图像和参考图像的相似度大于第一阈值的情况下，将所述目标图像分别输入多个参数不同的神经网络，在多个神经网络的输出结果相同时，将输出结果作为目标图像的类别。

图4是本申请实施例提供的游戏主机的结构示意图。该装置包括：至少一个处理器401，例如中央处理器（central processing unit, CPU），至少一个存储器402，和至少一个总线403。

上述存储器402中可以存储程序指令，上述处理器401可用于调用程序指令执行一种图像处理方法。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，存储介质包括只读存储器（read only memory，ROM）、随机存储器（random access memory，RAM）、可编程只读存储器（programmable read only memory，PROM）、可擦除可编程只读存储器（erasable programmable read only memory，EPROM）、一次可编程只读存储器（one-timeprogrammable read-only memory，OTPROM）、电子抹除式可复写只读存储器（electrically-erasable programmable read-only memory，EEPROM）、只读光盘（compactdisc read-only memory，CD-ROM）、固态硬盘（solid state disk， SSD）或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。