一种基于Mask R-CNN的斑马鱼形态学分类方法
技术领域
本发明涉及斑马鱼形态学分类领域，具体涉及一种基于Mask R-CNN的斑马鱼形态学分类方法。
背景技术
斑马鱼作为筛选环境有毒物质，人造化学物质和药物的理想模式生物，其胚胎多被用在急性毒性筛选来评估化学物质的生物毒性。传统的方法中，研究人员通过显微镜来观察斑马鱼胚胎的发育情况，通过其毒性终点(死亡、孵化、发育延缓、畸形等形貌)来判断化学物质对胚胎的影响程度。但在现有的斑马鱼形态学评价体系中，因为一个视野中通常同时存在多条运动的鱼，要快速准确观察并记录其形貌特点并做出判断需要耗费大量的时间和人力成本。且在相互独立的研究中进行数据平行比较时，斑马鱼的形态评价基于不同研究人员的主观判断，由于人为先验知识的影响将限制数据深度挖掘的可能性。随着所需测试毒性的化学物质累积及图像数据的爆发性增长，需要有一种能快速高效且能自动化分析斑马鱼胚胎形貌类别的图像检测方法。
专利CN111583207A公开了一种斑马鱼幼鱼心脏轮廓确定方法，采集多张测试集斑马鱼幼鱼显微图像和训练集斑马鱼幼鱼显微图像；将各训练集斑马鱼幼鱼显微图像进行裁剪处理，得到裁剪处理后的幼鱼区域；对各幼鱼区域进行椭圆拟合，得到斑马鱼幼鱼心脏轮廓的特征点坐标；根据各幼鱼区域和相应的特征点坐标进行卷积神经网络的训练；根据测试集斑马鱼幼鱼显微图像对训练后的网络模型进行优化；将待预测的斑马鱼幼鱼显微图像作为输入输入至优化后的网络模型，得到待预测幼鱼心脏轮廓的特征点坐标；根据待预测幼鱼心脏轮廓的特征点坐标，确定斑马鱼幼鱼心脏轮廓，然而，该专利仅用于在单次单条的条件下预测斑马鱼幼鱼的心脏位置，功能较为局限；该专利在预测斑马鱼心脏位置前需要先手动截取斑马鱼幼鱼的头部部分，耗费人力；该专利通过预测椭圆形上的八个关键点来生成斑马鱼幼鱼的心脏区域，不能精细的拟合各种形态下斑马鱼幼鱼的心脏位置。本专利可以同时预测图片中包含的所有斑马鱼幼鱼的种类和轮廓掩码；本专利可以直接对实验拍摄的图像进行处理，中间过程不再需要人工参与；本专利通过像素级的轮廓掩码来预测斑马鱼幼鱼的整体位置，精细程度高，不需局限于特定形态。
发明内容
本发明的目的就是针对斑马鱼形态学评价过程耗时且评价标准不明确的问题，基于现有的深度学习技术，提供一种基于Mask R-CNN的斑马鱼形态学分类方法，实现对斑马鱼形貌图像的批量处理及形态学自动分类。
本发明的目的通过以下技术方案实现：
一种基于Mask R-CNN的斑马鱼形态学分类方法，包含以下步骤：
S1、获取斑马鱼幼鱼形貌表型数据，包括含有正常孵化、脊柱弯曲、心包水肿、孵化后坏死、尾部下弯、尾部上翘、卵黄延伸畸形、卵黄囊水肿八类常见形貌类型的斑马鱼幼鱼图像，建立斑马鱼幼鱼形貌表型的图像数据集；
S2、将斑马鱼形貌数据集依据7:3的比例划分为训练数据集和测试数据集，使用imgaug对训练集中的斑马鱼形貌图像进行预处理及数据增强，提高模型的鲁棒性；
S3、搭建Mask-RCNN目标实例分割网络模型，将正常孵化、脊柱弯曲、心包水肿、孵化后坏死、尾部下弯、尾部上翘、卵黄延伸畸形、卵黄囊水肿八图像及标注信息输入网络进行训练。模型使用ResNet-50作为骨干网络，使用RPN和FPN进行多尺度的目标检测和特征融合，通过ROI Align结构利用双线性差值方法提高实例分割精度，将目标检测、实例分割和分类预测分为三个Head同时进行训练，从而实现对图像中斑马鱼的目标实例分割；
S4、对模型进行整体指标评估；
S5、使用训练好的模型对斑马鱼幼鱼形貌图像进行计算，得到图像中所有斑马鱼的分类结果、类别置信度、外包围框和分割轮廓。
进一步地，步骤S1包括：将斑马鱼幼鱼(72～120hpf)置于显微镜下，拍摄并收集包括含有正常孵化、脊柱弯曲、心包水肿、孵化后坏死、尾部下弯、尾部上翘、卵黄延伸畸形、卵黄囊水肿八类常见形貌类型的斑马鱼幼鱼图像。建立斑马鱼幼鱼形貌表型的图像数据集。
进一步地，步骤S2包括：图像数据集的预处理。使用Labelme开源标注工具对扩增后的图像数据集进行标注，获取斑马鱼幼鱼个体的标签种类和轮廓。对于数据扩增获得的数据则根据标注数据的标签种类和轮廓进行计算获得。
进一步地，步骤S2包括：图像数据集的扩增。为了提高模型对斑马鱼幼鱼形貌识别的鲁棒性，避免各形貌类别训练数据数量不均衡对模型准确率的影响，使用计算机视觉领域开源软件库imgaug对数据量较少的形貌类别通过图像扭曲算法进行数据扩增，对所有训练数据通过亮度变换、对比度变换、添加噪声等方式进行数据扩增。对整体数据集依据垂直翻转、水平翻转、旋转、缩放、像素乘法、相邻像素乘法、对比度调节、高斯噪声、高斯模糊、锐化、超像素增强、单通道增强和颜色空间增强共13种图像增强算法按照随机阈值、随机组合的方式进行数据增强。
进一步地，步骤S2包括：TFRecord文件数据的创建。将上述图像数据集进行分类，其中70％作为训练数据集，30％作为测试数据集，并将其打包成TFRecord格式，便于在TensorFlow中被读取和处理。
进一步地，步骤S3网络模型基于编码器和解码器结构，编码器部分利用下采样进行特征提取，其结构由骨干网络ResNet-50、RPN和FPN组成，骨干网络用于提取图像信息生成不同尺度的语义特征图，RPN则依据目标在原图中的尺寸比例在不同尺度的语义特征图上对目标进行检测，FPN则将不同尺度语义特征图上目标潜在区域通过1×1的卷积进行降维，融合到一张语义特征图上。
解码器部分分为ROI Align、mask head、class head和bbox head，ROI Align依据双线性插值算法提高经过压缩后的特征图与原图的匹配精度，从而生成更加精确的图像掩码；Mask head则依据经过ROI Align的目标区域特征图预测该目标的图像掩码；而与此同时经过ROI Align的目标区域特征图会被送入全连接层进行解码，在全连接层后接入classhead和bbox head，得到该目标区域的分类结果和外包围框坐标。
进一步地，步骤S3包括：训练基于TensorFlow深度学习框架,使用NVIDIA的图形处理器GeForce RTX 2080Ti进行计算，CUDA10.1库进行加速。
进一步地，步骤S4包括：对训练后的模型进行评估，得出模型的精度指标，包括分类精度mAP，外包围框交并比和轮廓交并比。
进一步地，步骤S5包括：将测试集图片输入到训练好的模型中进行预测，读取预测图。定义累计评分规则，测试集图片包含正常孵化、脊柱弯曲、心包水肿、孵化后坏死、尾部下弯、尾部上翘、卵黄延伸畸形、卵黄囊水肿八类常见形貌类型，所述累计评分规则为，总分为5分，每出现一种形貌类型扣一分，获取预测图所显示的形貌类型进行累加评分，并逐一输出结果到文本文件中。
与现有技术相比，本发明具有以下有益效果：
本发明斑马鱼图像和视频分析基于Mask R-CNN网络现有的经典网络设计方式，融合新的模型应用理念，通过识别并检测形貌特点，对形貌类型进行客观分类，建立一个客观的斑马鱼形态分类系统，实现快速准确地批量处理实验图片，减轻人力成本，提高效率的同时保证准确性和再现性。本专利可以同时预测图片中包含的所有斑马鱼幼鱼的种类和轮廓掩码，即单视野中可以同时识别多目标，并准确分析类别，且不同种类的畸形(畸形叠加)都可以被准确识别；本专利可以直接对实验拍摄的图像进行处理，中间过程不再需要人工参与，不受图像背景限制即可准确识别，纵背景有噪点或者背景值不干净不影响准确识别；本专利通过像素级的轮廓掩码来预测斑马鱼幼鱼的整体位置，精细程度高，不需局限于特定形态，即识别准确度不受幼鱼所处的方向、角度、视图限制；本专利准确识别不受显微放大倍数和不同试验批次的数据限制，模型泛化能力强。
附图说明
图1为本发明
具体实施方式
的流程图；
图2为包含斑马鱼不同形貌类型的原始图像；
图3为本发明中实施数据增强后的含有尾部下弯类型的原始图像；
图4为本发明中使用的Mask R-CNN模型结构示意图；
图5为本发明中使用的骨干网络结构图；
图6为本发明模型训练过程中训练损失；
图7为本发明模型训练后对图像进行预测的结果展示。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
一种基于Mask R-CNN(图5)的斑马鱼形态学分类方法，图1为本发明的实施流程图，包括以下步骤：
S1、获取斑马鱼幼鱼形貌表型数据：
将斑马鱼幼鱼(72～120hpf)置于一体式数码液晶显微镜下进行拍摄。
如图2，收集包括含有正常孵化、脊柱弯曲、心包水肿、孵化后坏死、尾部下弯、尾部上翘、卵黄延伸畸形、卵黄囊水肿八类常见形貌类型的斑马鱼幼鱼图像，建立斑马鱼幼鱼形貌表型的图像数据集。
S2、图像数据集的预处理及数据增强：
图像数据集的预处理。使用Labelme开源标注工具对扩增后的图像数据集进行标注，获取斑马鱼幼鱼个体及斑马鱼幼鱼心脏、卵黄囊、背部、尾部、鱼鳔的组织轮廓。
TFRecord文件数据的创建。将上述图像数据集进行分类，其中70％作为训练数据集，30％作为测试数据集，并将其打包成TFRecord格式，方便其在TensorFlow中被读取和处理。
TFRecord数据文件是将特征数据和特征数据对应的标签统一存储的二进制文件，能够使数据实现在TensorFlow中快速的复制、移动、读取和存储。
TFRecord文件使用了协议缓冲区(Protocol Buffer)结构数据序列化工具，通过将结构化数据进行序列化定义，来实现内存和硬盘之间的数据存储和交换功能。读取图像数据进行网络训练时，只需一次性加载一个二进制文件即可。
本发明通过将大量训练数据分成多个TFRecord文件的方式来提高计算处理效率。
图像数据集的扩增。本发明通过数据增强的方式，解决图像数据集各形貌类型种类数量不均衡的问题，提高模型对于斑马鱼实例分割及分类的鲁棒性。
如图3，展示了本发明通过imgaug开发库对图像数据集进行的数据增强效果。其中应用了包括垂直翻转、水平翻转、旋转、缩放、像素乘法、相邻像素乘法、对比度调节、高斯噪声、高斯模糊、扭曲、锐化、超像素增强、单通道增强和颜色空间增强共14项图像处理算法。
由于斑马鱼幼鱼通常以多种位置形态出现在图像中，所以本发明首先利用图像的垂直翻转、水平翻转、旋转和缩放对数据集进行处理。
垂直翻转的计算公式：[x,y,1]＝[x0,H-y0,1]
其中x，y为翻转后的坐标，x0，y0为翻转前的坐标，H为图像高度。
水平翻转的计算公式：[x,y,1]＝[W-x0,y0,1]
其中x，y为翻转后的坐标，x0，y0为翻转前的坐标，W为图像宽度。
缩放的计算公式：
其中x，y为翻转后的坐标，x0，y0为翻转前的坐标，Sx为的水平缩放比例，Sy为的垂直缩放比例。
旋转的计算公式：
其中x，y为翻转后的坐标，x0，y0为翻转前的坐标，α为旋转角度，xc为的旋转中心横坐标，yc为的旋转中心纵坐标。
图像模糊的计算公式：
高斯模糊的计算公式：
对比度的计算公式：C＝∑δδ(i,j)2Pδ(i,j)，其中δ(i,j)＝|i-j|，为相邻像素间灰度差；Pδ(i,j)为相邻像素间的灰度差为δ的像素分布概率。
像素乘法通过对图像中的所有像素乘上一个随机系数的方式实现对图像特征进行改变。
相邻像素乘法通过对图像中不同像素乘上不同的随机系数来实现图像特征的改变，算法保证了相邻像素不会使用相同的系数。
图像锐化算法通过拉普拉斯算子对图像整体进行卷积操作，从而实现对图像特征的改变。
超像素增强算法依据原图的像素平均值，为每个图像生成一定数量的超像素，并随机用超像素替换原图中的单个像素。
单通道增强算法对RGB中的某一通道乘上随机系数并加上随机偏置值，从而改变原图的颜色特征。
颜色空间增强算法则是将原图转化到HSV颜色空间，再整体加上一个随机值，最后将整个图像矩阵在RGB颜色空间下进行展示。
如图6，模型损失函数分为两类：1)RPN损失2)Mask RCNN heads损失。
RPN损失分为前后景分类损失RPN class loss和目标框回归损失RPN bbox loss，负责提升模型从原始图像中提供潜在目标区域的能力。
RPN损失函数：
代表所有anchor的分类损失，Pi为每个anchor的类别真值，为每个anchor的预测值。RPN只关心anchor的前后景划分，所以为二分类，使用交叉熵损失。
代表了外包围框的回归损失，使用了smoothL1函数。
Mask-RCNN heads损失分为分类损失class loss、回归损失bbox loss和轮廓掩码损失mask loss，负责提升模型对潜在目标区域中所含目标定位、分类并生成轮廓掩码的能力。
Mask-RCNN损失函数为：L＝Lcls+Lbox+Lmask
其中这部分的损失函数与RPN损失相同。
其中k为某个类别，m为mask head的蒙版边长，yij为蒙版中(i,j)点的标签真值，为k类别在蒙版中(i,j)点的预测值。
S3、搭建Mask-RCNN目标实例分割网络模型(如图5)，将图像数据集图像及标注信息输入网络进行训练；
模型基于编码器和解码器结构，编码器部分利用下采样进行特征提取，其结构由骨干网络ResNet-50、RPN和FPN组成，骨干网络用于提取图像信息生成不同尺度的语义特征图，RPN依据目标在原图中的尺寸比例在不同尺度的语义特征图上对目标进行检测，FPN将不同尺度语义特征图上目标潜在区域通过1×1的卷积进行降维，融合到一张语义特征图上。
解码器部分分为ROI Align、mask head、class head和bbox head，ROI Align依据双线性插值算法提高经过压缩后的特征图与原图的匹配精度；Mask head依据经过ROIAlign的目标区域特征图预测该目标的图像掩码；同时经过ROI Align的目标区域特征图会被送入全连接层进行解码，在全连接层后接入class head和bbox head，得到该目标区域的分类结果和外包围框坐标。
训练基于TensorFlow深度学习框架，使用NVIDIA的图形处理器GeForce RTX2080Ti进行计算，CUDA10.1库进行加速。
S4、对模型进行整体指标评估；
对训练后的模型进行评估，得出模型的精度指标，包括分类精度mAP，外包围框交并比和轮廓交并比。
S5、使用训练好的模型对斑马鱼幼鱼形貌图像进行计算，得到图像中所有斑马鱼的分类结果、类别置信度、外包围框和分割轮廓。
将测试集图片输入到训练好的模型中进行预测，读取预测图。定义累计评分规则，测试集图片包含正常孵化、脊柱弯曲、心包水肿、孵化后坏死、尾部下弯、尾部上翘、卵黄延伸畸形、卵黄囊水肿八类常见形貌类型，所述累计评分规则为，总分为5分，每出现一种形貌类型扣一分，获取预测图所显示的形貌类型进行累加评分，并逐一输出结果到文本文件中，图7为本发明模型训练后对图像进行预测的结果展示。
表1为模型训练后的分类准确率，本方法能实现快速准确地批量处理实验图片，减轻人力成本，提高效率的同时保证准确性和再现性。
表1模型训练后的分类准确率
类别(Class)
准确率(Accuracy)
脊柱弯曲
87.14％
孵化后坏死
88.70％
尾部下弯
74.20％
卵黄延伸畸形
83.94％
正常孵化
83.37％
心包水肿
88.38％
尾部上翘
91.38％
卵黄囊水肿
83.00％
上述的对实施例的描述是为便于该技术领域的普通技术人员能理解和使用发明。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，不脱离本发明范畴所做出的改进和修改都应该在本发明的保护范围之内。
- 上一篇：石墨接头机器人自动装卡簧、装栓机
- 下一篇：一种管道波纹补偿器轴向尺寸检测方法
