具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

本发明的实施方式涉及一种基于骨髓细胞形态学的血液疾病人工智能辅助诊断系统，如图1所示，包括：图像采集模块，用于采集瑞氏染色骨髓图像和细胞化学染色骨髓及外周血图像；图像分析模块，用于将所述瑞氏染色骨髓图像和细胞化学染色骨髓及外周血图像输入至训练好的深度网络模型中，融合医学诊断专业知识来学习骨髓形态学的有效特征，获得基于深度学习的病例骨髓形态学有效特征的相关参数；疾病类型判断模块，用于采用基于知识推理和临床经验融合的机器学习方法分析所述病例骨髓形态学参数并识别出待诊断病例的疾病类型。

图像采集模块：用于针对待诊断病例的瑞氏染色骨髓涂片和细胞化学染色骨髓及外周血涂片按照不同放大倍率采集显微图像，包括高倍镜和油镜下瑞氏染色骨髓图像和油镜下细胞化学染色骨髓及外周血图像。图像的采集模拟人工镜检的方式，高倍镜下采集一个视野面积的瑞氏染色骨髓图像，油镜下在瑞氏染色骨髓涂片及细胞化学染色涂片中选择体尾交界处的合适区域，以“N”字形的方式移动载物台，同时连续采集图像。所采集的高倍镜下瑞氏染色骨髓图像能够反映一个高倍镜视野下的有核细胞分布；所采集的油镜下瑞氏染色骨髓图像包含合适区域内连续分布的至少500个有核细胞；所采集的油镜下细胞化学染色图像包含合适区域内连续分布的至少100个目标细胞。值得一提的是，本实施方式中的高倍镜具有40倍的放大倍数，油镜具有100倍的放大倍数。

其中，细胞化学染色通常包括中性粒细胞碱性磷酸酶(neutrophil alkalinephosphatase，NAP/AKP)染色、过氧化物酶(peroxidase，POX)染色、过碘酸-希夫(periodicacid-Schiff，PAS)染色、氯醋酸AS-D萘酚酯酶(naphthol AS-D chloroacetate esterase，NAS-DCE)染色、醋酸AS-D萘酚酯酶(naphthol AS-D acetate esterase，NAS-DAE)染色和铁(Iron)染色。

以慢性粒细胞白血病慢性期(Chronic myeloid leukemia in chronic phase,CML-CP)为例，外周血涂片AKP积分降低为其骨髓形态学特点之一，AKP积分通过对AKP染色的外周血涂片中100个连续的成熟中性粒细胞按染色程度分类、计数与赋分获得。因此，该系统需针对病例是否为CML-CP做出判断时，其前期采集的细胞化学染色图像应包含AKP染色外周血图像。

图像分析模块：该模块利用人工智能技术对采集到的不同类型的显微图像进行图像识别与数据处理，基于深度学习算法识别目标细胞以获得病例骨髓形态学相关参数，本实施方式所使用的深度学习算法为Faster-RCNN网络。Faster RCNN作为两阶段目标检测方法的代表，如图2所示，由四个模块组成。第一个模块是主干网络，常用VGG或者ResNet等常见的深度网络，去除最后面用于分类的全连接层，用于特征提取。第二个模块是候选框生成网络，用于生成目标候选框。第三个模块是ROI池化，将前两个模块结合，将不同大小的目标候选框提取同一尺寸的特征图，并送入最后一个模块。第四个模块是分类和回归网络。将输入的特征分别加入分类头和回归头，分类头将预测目标的类别，回归头将对候选框的位置做调整。该网络实施方式如下：图像输入尺寸224×224×224，训练时特征金字塔每层RPN生成候选框数＝2000，测试时候选框数＝1000，测试时候选框得分阈值＝0.15，非极大值抑制NMS阈值＝0.7，max_iter＝40000。网络损失函数如下所示：

其中，公式的前半部分用于分类，所以采用交叉熵损失函数，p_i是第i个最初候选框预测为目标的概率。p_i ^*的取值则根据第i个候选框所对应的真实框的情况的不同而不同。当第i个候选框与所对应的真实框的IOU大于0.7，则p_i ^*＝1，符合这样的条件的候选框也被称为正样本。由于在RPN网络中产生的候选框数量有上万个，因此只需要取其中的一部分(如两千个)作为训练正样本，但是由于可能IOU大于0.7的候选框数量不足两千个，则在取得一部分IOU大于0.7的候选框作为正样本后，再在剩下的候选框中依次取IOU最大的候选框作为正样本，直到补足需要的两千个正样本数为止。在取出正样本之后，需要找到一些与真实框的IOU不足0.3的候选框作为负样本，负样本对应的p_i ^*＝0，即有既不是正样本也不是负样本的候选框不参与训练。

公式的后半部分即为边框回归中的损失函数。在得到两个部分的损失函数之和之后，即可用于参数训练。

骨髓增生程度评估模块通过训练好的深度网络模型分析所述高倍镜下瑞氏染色骨髓图像(40x)，识别单个高倍镜视野下的有核细胞，根据有核细胞数量判断病例骨髓增生程度。在显微镜视野转换为数字化图像过程中，单张数字化显微图像所代表的实际面积远小于显微镜下的视野面积。本实施方式使用的Zeiss Axio Scope.A1显微镜所配目镜的视场数为23，经过计算，其高倍镜下的视野面积大小为0.2595mm²，计算方式为其中，S₁为单个高倍镜视野面积，FN为目镜视场数，n为物镜放大倍率。采集显微图像使用的AxioCam HRc相机，其芯片尺寸为2/3英寸，中间镜倍率为1.0x，采集的每张图像所代表的实际面积为0.03412mm²，计算方式为其中，S₂为所述单张瑞氏染色骨髓图像(40x)的实际面积，n为物镜放大倍率，D为相机芯片尺寸。经换算，7张显微图像所表示的实际面积大小约等于一个高倍镜视野下面积。因此，对于每一个病例，需要布局连续采集7张图像，代表一个高倍镜视野，7张图像中的有核细胞总数代替一个高倍镜视野下的有核细胞数作为骨髓增生程度的判断依据。

在进行判断时，构建了基于Faster RCNN的骨髓有核细胞AI识别模型，识别一个高倍镜视野面积中的有核细胞并计数，判断病例的骨髓增生程度。通过Faster RCNN网络可以检测出7张图中有核细胞，并根据有核细胞数量判断骨髓增生程度。

其中，N表示单个高倍镜视野下有核细胞数量。

骨髓有核细胞分类模块采用训练好的深度网络模型对油镜下瑞氏染色骨髓图像(100x)中各细胞系不同发育阶段的有核细胞进行分类并统计数量以获得骨髓中各类有核细胞比例。在对待测病例采集瑞氏染色骨髓图像(100x)时，通过模拟人工镜检的方式，在骨髓涂片中选择体尾交界处的合适区域，以“N”字形的方式移动载物台，同时连续采集油镜下图像，对每个病例采集至少包含500个有核细胞的显微图像，作为判断病例骨髓各类有核细胞比例的依据，并基于上述Faster-RCNN网络便可对骨髓有核细胞进行自动分类，从而统计出数量得到骨髓中各类有核细胞比例。

细胞化学染色评估模块采用训练好的深度网络模型对油镜下不同类型细胞化学染色骨髓及外周血图像中不同染色程度的目标细胞并进行分类，根据细胞染色阳性程度建立病例细胞化学积分体系。以AKP染色外周血涂片为例，对于待测病例AKP染色外周血涂片显微图像的采集，同样选择体尾交界的合适区域，按照“N”字形移动载物台，同时连续采集油镜下显微图像，对每个待测病例采集至少包含100个成熟中性粒细胞的显微图像，这组图像作为判断待测病例AKP积分的图像依据。

在进行判断时，构建了基于Faster RCNN的AKP积分AI计算模型，用于对AKP染色的外周血涂片显微图像中成熟中性粒细胞根据不同染色程度进行自动分类，细胞染色程度分级及相应的计分规则为AKP积分是指AKP染色的外周血涂片置于显微镜油镜下连续观察100个成熟中性粒细胞的总积分。本实施方式中，针对CML-CP的细胞化学染色评估模块，利用深度学习算法Faster-RCNN对AKP染色外周血涂片中连续100个不同染色程度的成熟中性粒细胞进行分类与统计，不同染色程度赋以相应的积分值，以积分之和(AKP积分)反映染色的阳性程度。

疾病类型判断模块：该模块利用人工智能技术分析病例骨髓形态学参数，对待诊断病例的疾病类型做出判断。其中，特征提取模块依据医学诊断专业知识中血液系统疾病骨髓形态学诊断的特点从病例骨髓形态学参数中提取基于深度学习的病例骨髓形态学有效特征，一般包括骨髓增生程度、疾病特征性的有核细胞比例、疾病特征性的细胞化学染色类型阳性程度。CML-CP的骨髓形态学特点主要表现为，骨髓增生明显至极度活跃，原始细胞比例＜10％，中性粒细胞中间阶段细胞(中幼粒细胞，晚幼粒细胞、杆状核粒细胞)比例升高，嗜酸、嗜碱性粒细胞比例升高，粒红比升高、AKP积分降低，因此，针对CML-CP的基于医学诊断专业知识的AI辅助诊断，提取的病例特征为骨髓增生程度，原始细胞、中性粒细胞中间阶段细胞(中幼粒细胞、晚幼粒细胞、杆状核粒细胞之和)、嗜酸性粒细胞、嗜碱性粒细胞比例，粒红比以及AKP积分。

病例分类模块基于机器学习算法，融合医学诊断专业标准和临床大数据，运用知识推理方法来学习这些骨髓形态学有效特征和血液疾病类型的关联，建立基于所获取关联的血液疾病类型分类器模型，利用所提取的病例特征对病例的疾病类型做出判断。依据临床经验和病例数据，运用知识推理方法来学习上述骨髓形态学有效特征和CML-CP的关联，建立基于支持向量机的CML-CP识别分类器模型，CML-CP病例分类模块基于支持向量机(Support vector machine,SVM)已事先完成了训练与验证，支持向量机是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，学习算法就是求解凸二次规划的最优化算法。核函数的导入使它成为实质上的非线性分类器。支持向量机的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面。如图3所示，w·x+b＝0即为分离超平面，对于线性可分的数据集来说，这样的超平面有无穷多个，但是几何间隔最大的分离超平面却是唯一的。支持向量机为带高斯核的非线性支持向量机。其训练集与验证集由既往骨髓形态学已确诊病例的相关参数组成，算法性能在参与待诊断病例的病例分类前已达到理想水平。非线性支持向量机即是求解凸二次规划问题

0≤α_i≤C,i＝1,2,...,N

得到最优解

其中，是核函数，K(x,z)＝φ(x)·φ(z),φ是一个从输入空间到特征空间的映射。

综上，本发明的血液系统疾病辅助诊断系统将人工智能技术应用于骨髓形态学图像识别和疾病分析的一整套流程，可实现对血液系统疾病高准确率的AI辅助诊断，并且能够提高工作效率，减轻临床检验工作的压力。该系统将医学知识与人工智能技术相结合，与既往文献和专利公开的方法不同的是，在分析骨髓有核细胞分类及比例的基础上，融合医学诊断专业标准和临床大数据，增加对骨髓增生程度和细胞化学染色程度这两个骨髓形态学有效特征的学习，评估基于深度学习的病例骨髓形态学各有效特征，更全面地覆盖了骨髓形态学诊断的指标和参数，依据疾病骨髓形态学特点，运用人工智能技术学习和提取更有效、更准确、更复杂的病例特征，使AI辅助诊断结果具有更强的科学性与可解释性。在实施例CML-CP的全流程骨髓形态学AI辅助诊断中，诊断准确率达98.75％。在正常与多种类型血液系统恶性疾病病例的鉴别诊断中，将各类有核细胞比例作为病例特征的基础上，增加骨髓增生程度与AKP积分两项新特征，可使诊断的准确率从90.38％提升至98.85％。