具体实施方式

下面将结合本发明的附图对本发明的具体实施方式做具体的阐述与说明。

如图1所示，正常肋骨和骨折肋骨均为狭长的3D物体，正常肋骨和骨折肋骨的几何形状呈现多样性，因而传统的针对大物体的目标检测方法并不适用。为此，本发明将此问题形式化为3D分割任务。通过利用视觉理解方面的最新进展，本发明开发了基于高分辨率3DResNet的3D DeepLab，命名为3D ResNet-HR，对这个具有挑战性的分割任务进行建模。在数据集的构建上，以经验丰富的放射科医生作为专家，划定肋骨骨折体素水平的边界，采用356名患者/1773例肋骨骨折的数据作为训练集和验证集以训练获得检测模型；该检测模型在另外的89例/434肋骨骨折的测试集上表现出良好的预期性能。

数据采集和标注模块：

自建数据集（名为HdH-RibFrac数据集）是由上海市司法鉴定中心的合作医院——华东医院合作收集而来的。来自在2018年的445位患者的2207处肋骨骨折（男性265位，女性180位，平均年龄为55岁）被纳入本发明的检测模型训练、验证和测试；每个病人被诊断出至少有一根肋骨骨折。

由经验丰富的放射科医生在CT图像上标注肋骨骨折的边界，产生的体素水平标注包括尽可能多的骨折损伤区域。

在一个实施例中，HdH-RibFrac数据集进一步被划分为：（a）HdH-RibFrac训练集（80％的患者，来自356位患者的1773处肋骨骨折），用于训练和调整深度学习模型；（b）HdH-RibFrac测试数据集（20％患者，来自89例患者的434处肋骨骨折），用于评估模型性能。在另一个实施例中，自建数据集可以只包含训练数据，通过训练数据对模型进行训练，得到训练模型。

预处理模块：

为了加快在整个CT量中滑动窗口检测的速度，通过阈值化、开操作以及闭操作提取患者身体骨骼区域作为目标区域，过滤不含骨折的肋骨区域及非肋骨的骨骼区域。在目标区域中用滑动窗口的方式以滑动窗口大小为96×96×96、滑动窗口步长为48对CT图像进行采样，得到大小固定为96×96×96的3D局部CT图像；在另一个实施例中，滑动窗口大小为112×112×112滑动窗口步长为56。此处滑动窗口的大小可以根据CT图像大小、硬件储存容量和计算速度做相应调整。

3D DeepLab网络架构模块：

为了捕捉局部和全局的上下文信息（context），本发明在DeepLab v3+（参见文献1：Liang-Chieh Chen等，Encoder-Decoder with Atrous Separable Convolution forSemantic Image Segmentation，Computer Vision – ECCV 2018，833-851）的基础上提出了3D DeepLab，如图3所示。

本发明所述3D DeepLab网络架构模块包含编码器和解码器两个部分，预处理模块采样得到的图像作为输入逐个经过编码器，得到具有高层次语义的输出特征，然后再经过解码器（可参见文献1中对解码器的描述），输出对肋骨骨折区域的分割结果；所述3DDeepLab网络架构模块的编码器使用3D ResNet-HR，3D ResNet-HR结构采用以下公式表述：

其中，X _input 代表编码器的输入, X _intermediate 代表编码器的中间结果, X _output 代表编码器的输出，stride=1表示卷积层或最大池化层的步长为1，kernel=7表示卷积层的卷积核大小为7，dilation=2表示卷积层的膨胀率为2；N为模型中ConvBlock的数量，ConvBlock为编码器中的卷积模块，任意的一个ConvBlock由两个连续的ConvLayer和一个最大池化层依次拼接而成，其中ConvLayer由一个卷积层、一个归一化层和一个非线性激活函数依次拼接而成；

本发明提出的3D ResNet-HR与现有2D ResNet18（He Kaiming等，Deep ResidualLearning for Image Recognition, 2016 IEEE Conference on Computer Vision andPattern Recognition (CVPR) (2016): 770-778）的3D版本（即与2D ResNet18保持相同架构的3D版本（本发明中将其命名为3D ResNet-LR）：将2D卷积替换成3D卷积，2D池化层替换成3D池化层，并且将2D的批正规化层替换成3D的批正规化层）相比，本发明所提出的3DResNet-HR的初始特征图的分辨率是该3D ResNet-LR的4倍。本发明所采用的3D ResNet-HR网络可以使神经网络在浅层内保持较高的分辨率细节。

在一个实施例中，为了扩大接收范围，本发明进一步使用扩张空间金字塔池化层（ASPP）的3D变种接收3D DeepLab中编码器的输出特征，被称为3D ASPP模块。3D ASPP模块由一个1×1×1的3D卷积层，一个3×3×3的3D卷积层，一个3×3×3的3D膨胀卷积层（膨胀率为2），一个3×3×3的3D膨胀卷积层（膨胀率为3），一个3×3×3的3D膨胀卷积层（膨胀率为4）和一个全局池化层组成，这种设计可以有效地捕捉CT图像中的局部信息和全局信息。通过本发明开发的所述3D ASPP模块，可以逐步地上采样特征图并且输出与输入大小相同的分割结果。在另外的实施例中，还可以采用连续的卷积层作为3D DeepLab中编码器的输出特征。

在一个实施例中，为了提升模型的运行速度，本发明的3D DeepLab网络架构模块中的编码器的激活函数均使用QSwish函数。QSwish函数改进自Swish函数，将Swish函数的连续非线性改为多段函数，与Swish函数相比减少了50%左右的计算时间，显著提升了运行效率，本发明所提出的QSwish函数实现了在减小计算量的情况下尽量拟合了Swish函数，如图5所示。QSwish的公式如下：

，

其中，x为编码器的输入。

在另外的实施例中，采用了ReLU或Swish激活函数。下表1是在3D DeepLab网络架构模块中使用三种不同的激活函数，ReLU、Swish和QSwish的敏感度。

表1 ReLU、Swish和QSwish激活函数的敏感度

后处理模块：

在一个实施例中，对3D DeepLab网络架构模块所输出的分割结果进行后处理，即去除了体积较小（体素数量<200）的连接部分，以及存在于人体脊柱区域中的分割结果；在另一个实施例中，去除了体素数量<100的连接部分以及存在于人体脊柱区域中的分割结果；在另外的实施例中，没有使用后处理模块。

模型训练模块：

本发明使用若干个阳性和若干个阴性样本对模型进行训练，具体为：一个阳性样本是一个包含专家标注在内的随机中心剪裁，而一个阴性样本是除骨折区域之外其他骨骼区域（例如肋骨和脊柱）的剪裁，在一个实施例中，每个样本体积大小为96×96×96，在训练过程中，每批包括12个阳性和12个阴性样本，具有随机y/z平面翻转数据增强。用于训练3DDeepLab的损失函数如下式所示：

其中,y和分别表示真实肋骨骨折区域和检测的肋骨骨折区域，y和的取值在[0,1]的区间内。

使用Adam优化器的单周期训练策略（one-cycle）用于训练模型。模型的学习率从α=1×10⁻⁵并且在第一个训练周期（epoch）结束的时候线性增加到0.1；然后在50个训练周期内保持0.1，在另30个训练周期保持在1×10⁻³。

模型验证模块：

FROC（Free-Response ROC）分析，作为一种平衡了敏感度和误报率被广泛使用的评估方法，在本发明中被用来评估本发明的肋骨骨折检测模型。

在一个实施例中，首先筛选出后处理模块中去除了体素数量<100的连接部分以及存在于人体脊柱区域中的分割结果中骨折概率大于0.1的连通区域，每个连通区域都被视为检测建议，根据连通区域内的平均概率作为这个连通分量的预测概率。在另一个实施例中，由于没有后处理模块，因此筛选出训练后的3D DeepLab模型输出的分割结果中骨折概率大于0.1的连通区域，每个连通区域都被视为检测建议，根据连通区域内的平均概率作为这个连通分量的检测概率。

对于细长物体，真实有效值和检测值之间的交并比（IoU）往往比较低。如果检测建议与某个专家真实标注的IoU>0.2，则该检测建议被认为是一个“命中”，即真阳性（Truepositive, TP）。

使用FROC曲线分析进行模型性能评估。FROC曲线分析是通过改变输出概率的阈值，得到不同平均假阳性（FP/s）水平下的灵敏度（Sensitivity）。给定一个输出概率的阈值，能够计算真阳性（TP）、假阳性（FP）和假阴性（FN），从而计算平均假阳性和灵敏度：

Sensitivity = TP / (TP + FN)

FP/s = FP / Num

其中Num代表用于模型性能评估的数据集大小。

在本发明提出的具有3D ResNet-HR/LR编码器的3D DeepLab-HR/LR这两种变体中，编码器权重可以从头开始初始化，也可以基于8或23个医学数据集预先训练（SihongChen, Kai Ma, Yefeng Zheng. Med3D: Transfer Learning for 3D Medical ImageAnalysis. https://arxiv.org/abs/1904.00625）。对于从头开始训练的模型，所有权重是通过“He Uniform”方法随机地被初始化。为了验证3D ASPP模块的有效性，具有3D ResNet-LR编码器的3D FCN(Long, J.等. Fully convolutional networks for semanticsegmentation. 2015 IEEE Conference on Computer Vision and Pattern Recognition(CVPR) (2015): 3431-3440.)从头开始被训练。所有模型都在HdH-RibFrac数据集上进行了训练和调整，其中来自334位患者的1671处肋骨骨折被随机选择用于训练，其余的来自22位患者102处肋骨骨折被用于选择最佳模型快照。

基于HdH-RibFrac测试数据集（来自89位患者的434处肋骨骨折）上的模型性能被报告在表2和图4中，最佳模型——从头开始训练的3D DeepLab-HR（HR_From_Scrach）可达到最大88.9％的灵敏度，以及每次扫描的平均误报率FP/S≤6。

如预期地，3D DeepLab超越了3D FCN。此外，高分辨率的变量明显优于低分辨率，这表明推迟后采样的阶段在这个问题上的重要性。值得注意的是，在本发明中，即使始终对23个数据集进行预训练胜过8个数据集，两者均不及从零开始训练。我们推测，预训练数据集主要在器官（而非骨骼）分割任务上，这样任务的数据分布（例如HU强度，解剖结构）明显不同于肋骨骨折的检测。

未经繁重的工程优化，本发明所提出的方法在HdH-RibFrac测试数据集中，每次CT扫描运行59.3秒。 推理时间包括由利用了单个GTX 1080Ti GPU的Python 3.7.3和PyTorch1.0.1测量得出的预处理/后处理时间。相比较而言，经验丰富的放射科医生至少需要15分钟才能进行准确检测和诊断肋骨骨折。本发明所提出的方法与人工观察相比，速度提高了15倍以上。

表2 通过改变FP / s阈值的敏感性

表2说明：“ HR / LR”：高/低分辨率。“ TFS”：从头开始训练，“ P8 / P23”：预先训练有8/23个医疗数据集。

对于另外的待检测肋骨骨折的病例，拍摄CT图像，进行预处理后，作为训练过或验证过的检测模型的输入，由检测模型输出检测结果，即得到肋骨骨折的检测结果，如图6所示，其中 3处阴影部分为检测到的肋骨骨折区域。

本发明通过将问题表述为3D分割，并且基于3D DeepLab从而实现了在大规模数据集合中有良好的表现。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。