具体实施方式

下面将参考附图并结合实施例，来详细说明本发明。

实施例一

图1示出了根据本发明实施例一的基于结构化报告的绩效分析自动推荐AI方案的方法流程图，如图1所示，该方法包括以下步骤：

步骤S101，记录相同检查目的的不同AI模型输出的AI数据的修改日志；

基于影像AI模型与相关病种的结构化报告的整合，影像AI模型的输出可以自动化地填写到影像结构化报告当中的相关控件中，本发明的实施例可以根据诊断医生对这些AI数据的修改，以及患者的检查目的的分析，来判断这个AI模型是否适合该病例的诊断。基于这种分析，本发明的实施例可以在后台自动选择默认质量更高的AI模型进行推荐，诊断医生可以使用这些推荐的AI方案。

不同的影像AI模型通过结构化报告来进行评价的方法是个性化的。但无论那种影像AI模型，其效能评估都与检查目的、影像发现相关的类型/严重程度相关，由此判断不同影像AI模型在上述两种分类的不同场景下的效能差异，以便进行动态的、自动化的合理选择。

以肺结节的AI诊断模型为例进行说明。有些肺结节的AI敏感性特别高，特异性比较差，但所发现的结节按照风险高低排列(按大小、形态、内容物纹理分析评估风险)比较好；有些肺结节的AI敏感性不那么高，但特异性比较好。有些患者做胸部CT的原因是检查筛查；有些原因是判断胸部有无疾病；有些患者是既往结节的随访，等等。

通常情况下，如果有多个应用目的相同的AI，PACS系统会将该患者的图像同时推送给这些AI。这些AI各自生成该患者的测量值和关键图像，并发送到结构化报告服务器的接收缓存中。

图2示出了根据本发明实施例一的基于结构化报告的绩效分析自动推荐AI方案的方法中诊断医生打开患者图像与报告时结构化报告系统显示的3个AI诊断模型界面示意图；如图2所示，当诊断医生双击患者列表打开该患者图像与报告诊断时，结构化报告系统会告知诊断医生有3个AI模型的结果可供选择，医生可以选择其中之一的输出数据来撰写报告。界面示意图中显示“选择外部数据”中，显示三个肺结节的AI模型返回的数据，医生根据患者的DICOM图像进行手工选择。

图3示出了根据本发明实施例一的基于结构化报告的绩效分析自动推荐AI方案的方法中当诊断医生选择一个AI模型进行报告撰写时AI模型输出的AI数据填写到结构化报告各个控件中的界面示意图；如图3所示，诊断医生选择某一个AI诊断模型后，其输出的AI数据(病灶的测量值、关键图像等)自动添加到结构化报告界面的相应控件中。比如左肺上叶中结节的体积为111立方毫米，AI模型给出的Lung RADS分类为2级。

步骤S102，当该检查目的的影像结构化报告的完成数量达到预设阈值时，基于修改日志，输出每个AI模型输出的AI数据的符合率；

其中，修改日志包括：检查目的、AI模型输出的病灶列表、医生确认发送到影像结构化报告中的病灶列表、测量值、修改的测量值、关键图像、调整的关键图像和诊断结论。

其中，预设阈值根据需求可以随意设定，比如肺结节检查的影像结构化报告的完成数量设定为100例；

其中，输出每个AI模型输出的AI数据的符合率，包括：

基于AI模型输出的病灶列表、医生确认发送到影像结构化报告中的病灶列表，确定假阳性病灶的概率；

基于测量值、修改的测量值、关键图像、调整的关键图像和诊断结论，确定测量值和关键图像的修改率；

根据假阳性病灶的概率和/或修改率，输出每个AI模型输出的AI数据的符合率。

比如肺结节检查的影像结构化报告的完成数量设定为100例，检查目的为肺结节检查，对应于这个检查目的下的AI模型为3个，其中，有50例使用的是A1模型，有30例使用的是A2模型，有20例使用的是A3模型，A1模型假阳性病灶的概率为这50例的平均概率，修改率也是为这50例的平均修改率，最后根据平均概率和平均修改率，输出AI模型的符合率，A2模型的符合率以及A3模型的符合率同A1模型的符合率的处理方式。

本发明中的符合率循环迭代处理的，每满足预设阈值时自动处理一次符合率的计算，比如预设阈值设置为100，也就是说每达到100例报告后，系统自动重新计算一次该检查目的下的每个AI模型输出的AI数据的符合率，从而再次重新确认默认AI方案。这种方式能够提高默认AI方案的准确度，使得系统更加人性化。

图4示出了根据本发明实施例一的基于结构化报告的绩效分析自动推荐AI方案的方法中医生对AI数据的修改界面示意图；如图4所示，诊断医生根据患者的DICOM图像进行分析，对AI数据进行修改。

诊断医生阅读图像，首先在病灶列表当中进行核对，选择某些认为是合理的病灶发送到结构化报告，放弃其他AI发现的病灶项目。

图5示出了根据本发明实施例一的基于结构化报告的绩效分析自动推荐AI方案的方法中相同检查目的下不同AI模型返回的AI数据界面示意图；如图5所示，医生选择合理病灶后点击界面中的“发送到报告”。

其次，医生可能对AI模型输出的测量值进行修正，对关键图像进行删除和补充，这个过程被结构化报告的日志系统记录下来。

第三，诊断医生使用结构化报告完成诊断分析，撰写诊断结论。这个诊断结论也结构化的，并使用RADLEX编码进行标记。比如在肺结节的业务中给出一个判断“LUNG-RADS分级为3级”。

在肺结节这个案例中，报告完成后，系统获得了如下这些记录数据：检查目的、AI返回的病灶列表、医生确认发送到影像结构化报告中的病灶列表、测量值、诊断医生调整的测量值、关键图像、诊断医生调整的关键图像，以及最终的诊断结论。其他AI与结构化报告整合的操作顺序大体雷同，但后续的分类分析逻辑可能会变化，再次不做限定。

诊断医生也可以查看不同AI模型的返回结果，仍然用肺结节的AI为例。如果患者是健康筛查人员，那么AI的评价方法是病灶列表的顺序合理性。就是说列在前边的疑似病灶顺序是否正确。这样的话诊断医生可以确保按照AI提交的顺序分析病灶是否有诊断价值，并及时放弃后续低风险的疑似病灶队列。如果患者是发热、咳嗽待查患者，那么肺结节的AI关注点是其发现的病灶列表有多少被医生选中发送到报告当中。过多的假阳性就不是一个好的输出。

通过分析建立了上述这些逻辑之后，可以在报告载入AI模型的时候，缺省选择某个AI模型的结果载入，并告知有多个AI结果存在，他们在不同的检查目的下的绩效存在什么差异。

步骤S103，将符合率最高的AI模型确定为在该检查目的下的默认AI方案，当医生准备撰写影像结构化报告时，自动将默认AI方案推荐给医生。

图6示出了根据本发明实施例一的基于结构化报告的绩效分析自动推荐AI方案的方法中当医生打开某个患者的报告时自动推荐默认AI方案的界面示意图；如图6所示，若肺癌筛查检查时，医生使用XX肺结节结果符合率高，则默认加载XX肺结节AI模型。

其中，在将默认AI方案推荐给医生的同时，该方法还包括：将该检查目的下其他所有AI模型输出的AI数据和与之对应的符合率提示给医生，便于诊断医生做对比。

其中，当医生使用默认AI方案，得出诊断结论后，该方法还包括：

计算该默认AI方案对应的AI模型输出的AI数据的符合率，定义为默认AI方案符合率；

当默认AI方案符合率低于该检查目的下任一AI模型输出的AI数据的符合率时，则自动提示给医生。只要是有一个AI模型输出的AI数据的符合率高于默认AI方案符合率，则就提示给医生，诊断医生可以判断该默认AI方案的应用在这个场景下，测量值/关键图像的准确性，以便医生再去进行检查，或者引用一个更加合理的AI模型重新撰写报告。

优选地，该方法还包括：统计预设阈值中每个AI模型被使用的次数，根据假阳性病灶的概率和/或修改率，并结合AI模型被使用的次数，按照预设规则，输出每个AI模型输出的AI数据的符合率。

比如肺结节检查的影像结构化报告的完成数量设定为100例，检查目的为肺结节检查，对应于这个检查目的下的AI模型为3个，其中，有50例使用的是A1模型，有30例使用的是A2模型，有20例使用的是A3模型，A1模型假阳性病灶的概率为这50例的平均概率，修改率也是为这50例的平均修改率，最后根据平均概率、平均修改率和使用次数，按照预设规则，输出AI模型的符合率，A2模型的符合率以及A3模型的符合率同A1模型的符合率的处理方式。

其中，预设规则可以根据实际情况进行设定，比如在使用次数达到多少次的时候，符合率会加分，使用次数少于多少次的时候，符合率会减分等等，预设规则不做限定。这种方法规避了某个AI模型只使用了少数几次，但符合率也是最高的，故确定为默认AI方案的情况。加上使用次数这个因素，符合率就更加精确。

本发明实施例可以动态记录医生对AI模型输出的AI数据的修改日志，基于修改日志，输出每个AI模型输出的AI数据的符合率；将符合率最高的AI模型确定为在该检查目的下的默认AI方案，当医生准备撰写影像结构化报告时，自动将默认AI方案推荐给医生；可以根据影像医生对结构化报告填写内容的修改以及患者检查目的的分析，来客观判断这个AI模型是否适合该病例的诊断，能够自动推送默认质量最高的AI模型进行使用；本发明的实施例还可以在将默认AI方案推荐给医生的同时，将该检查目的下其他所有AI模型输出的AI数据和与之对应的符合率提示给医生，以便医生了解相同检查目的下的每个AI模型输出的AI数据的符合率，方便每个AI模型之间的对比；本发明的实施例还可以当医生使用默认AI方案，得出诊断结论后，计算该默认AI方案对应的AI模型输出的AI数据的符合率，当默认AI方案符合率低于该检查目的下任一AI模型输出的AI数据的符合率时，则自动提示给医生，以便医生再进行检查，甚至可以放弃该报告，直接调用另外一个更加合理的AI模型输出的AI数据重新撰写报告，可以将不合适的AI模型淘汰，质量高的AI模型浮现出来，降低科室的选择判断成本，提高了医生撰写报告效率和质量；本发明的实施例还可以统计预设阈值中每个AI模型被使用的次数，基于修改日志，并结合AI模型被使用的次数，按照预设规则，输出每个AI模型输出的AI数据的符合率，提高符合率的精度，使得推荐的AI方案更加合理，适用性更强。

实施例二

图7示出了根据本发明实施例二的基于结构化报告的绩效分析自动推荐AI方案的系统结构示意图，如图7所示，该系统包括：记录模块10、处理模块20和推荐模块30，其中，

记录模块10，与处理模块20相连，用于记录相同检查目的的不同AI模型输出的AI数据的修改日志；

基于影像AI模型与相关病种的结构化报告的整合，影像AI模型的输出可以自动化地填写到影像结构化报告当中的相关控件中，本发明的实施例可以根据诊断医生对这些AI数据的修改，以及患者的检查目的的分析，来判断这个AI模型是否适合该病例的诊断。基于这种分析，本发明的实施例可以在后台自动选择默认质量更高的AI模型进行推荐，诊断医生可以使用这些推荐的AI方案。

不同的影像AI模型通过结构化报告来进行评价的方法是个性化的。但无论那种影像AI模型，其效能评估都与检查目的、影像发现相关的类型/严重程度相关，由此判断不同影像AI模型在上述两种分类的不同场景下的效能差异，以便进行动态的、自动化的合理选择。

以肺结节的AI诊断模型为例进行说明。有些肺结节的AI敏感性特别高，特异性比较差，但所发现的结节按照风险高低排列(按大小、形态、内容物纹理分析评估风险)比较好；有些肺结节的AI敏感性不那么高，但特异性比较好。有些患者做胸部CT的原因是检查筛查；有些原因是判断胸部有无疾病；有些患者是既往结节的随访，等等。

通常情况下，如果有多个应用目的相同的AI，PACS系统会将该患者的图像同时推送给这些AI。这些AI各自生成该患者的测量值和关键图像，并发送到结构化报告服务器的接收缓存中。

图8示出了根据本发明实施例二的基于结构化报告的绩效分析自动推荐AI方案的系统中诊断医生打开患者图像与报告时结构化报告系统显示的3个AI诊断模型界面示意图；如图8所示，当诊断医生双击患者列表打开该患者图像与报告诊断时，结构化报告系统会告知诊断医生有3个AI模型的结果可供选择，医生可以选择其中之一的输出数据来撰写报告。界面示意图中显示“选择外部数据”中，显示三个肺结节的AI模型返回的数据，医生根据患者的DICOM图像进行手工选择。

图9示出了根据本发明实施例二的基于结构化报告的绩效分析自动推荐AI方案的系统中当诊断医生选择一个AI模型进行报告撰写时AI模型输出的AI数据填写到结构化报告各个控件中的界面示意图；如图9所示，诊断医生选择某一个AI诊断模型后，其输出的AI数据(病灶的测量值、关键图像等)自动添加到结构化报告界面的相应控件中。比如左肺上叶中结节的体积为111立方毫米，AI模型给出的Lung RADS分类为2级。

处理模块20，分别与记录模块10和推荐模块30相连，用于当该检查目的的影像结构化报告的完成数量达到预设阈值时，基于修改日志，输出每个AI模型输出的AI数据的符合率；

其中，修改日志包括：检查目的、AI模型输出的病灶列表、医生确认发送到影像结构化报告中的病灶列表、测量值、修改的测量值、关键图像、调整的关键图像和诊断结论。

其中，预设阈值根据需求可以随意设定，比如肺结节检查的影像结构化报告的完成数量设定为100例；

其中，输出每个AI模型输出的AI数据的符合率，包括：

基于AI模型输出的病灶列表、医生确认发送到影像结构化报告中的病灶列表，确定假阳性病灶的概率；

基于测量值、修改的测量值、关键图像、调整的关键图像和诊断结论，确定测量值和关键图像的修改率；

根据假阳性病灶的概率和/或修改率，输出每个AI模型输出的AI数据的符合率。

比如肺结节检查的影像结构化报告的完成数量设定为100例，检查目的为肺结节检查，对应于这个检查目的下的AI模型为3个，其中，有50例使用的是A1模型，有30例使用的是A2模型，有20例使用的是A3模型，A1模型假阳性病灶的概率为这50例的平均概率，修改率也是为这50例的平均修改率，最后根据平均概率和平均修改率，输出AI模型的符合率，A2模型的符合率以及A3模型的符合率同A1模型的符合率的处理方式。

本发明中的符合率循环迭代处理的，每满足预设阈值时自动处理一次符合率的计算，比如预设阈值设置为100，也就是说每达到100例报告后，系统自动重新计算一次该检查目的下的每个AI模型输出的AI数据的符合率，从而再次重新确认默认AI方案。这种方式能够提高默认AI方案的准确度，使得系统更加人性化。

图10示出了根据本发明实施例二的基于结构化报告的绩效分析自动推荐AI方案的系统中医生对AI数据的修改界面示意图；如图10所示，诊断医生根据患者的DICOM图像进行分析，对AI数据进行修改。

诊断医生阅读图像，首先在病灶列表当中进行核对，选择某些认为是合理的病灶发送到结构化报告，放弃其他AI发现的病灶项目。

图11示出了根据本发明实施例二的基于结构化报告的绩效分析自动推荐AI方案的系统中相同检查目的下不同AI模型返回的AI数据界面示意图；如图11所示，医生选择合理病灶后点击界面中的“发送到报告”。

其次，医生可能对AI模型输出的测量值进行修正，对关键图像进行删除和补充，这个过程被结构化报告的日志系统记录下来。

第三，诊断医生使用结构化报告完成诊断分析，撰写诊断结论。这个诊断结论也结构化的，并使用RADLEX编码进行标记。比如在肺结节的业务中给出一个判断“LUNG-RADS分级为3级”。

在肺结节这个案例中，报告完成后，系统获得了如下这些记录数据：检查目的、AI返回的病灶列表、医生确认发送到影像结构化报告中的病灶列表、测量值、诊断医生调整的测量值、关键图像、诊断医生调整的关键图像，以及最终的诊断结论。其他AI与结构化报告整合的操作顺序大体雷同，但后续的分类分析逻辑可能会变化，再次不做限定。

诊断医生也可以查看不同AI模型的返回结果，仍然用肺结节的AI为例。如果患者是健康筛查人员，那么AI的评价方法是病灶列表的顺序合理性。就是说列在前边的疑似病灶顺序是否正确。这样的话诊断医生可以确保按照AI提交的顺序分析病灶是否有诊断价值，并及时放弃后续低风险的疑似病灶队列。如果患者是发热、咳嗽待查患者，那么肺结节的AI关注点是其发现的病灶列表有多少被医生选中发送到报告当中。过多的假阳性就不是一个好的输出。

通过分析建立了上述这些逻辑之后，可以在报告载入AI模型的时候，缺省选择某个AI模型的结果载入，并告知有多个AI结果存在，他们在不同的检查目的下的绩效存在什么差异。

推荐模块30，与处理模块20相连，用于将符合率最高的AI模型确定为在该检查目的下的默认AI方案，当医生准备撰写影像结构化报告时，自动将默认AI方案推荐给医生。

图12示出了根据本发明实施例二的基于结构化报告的绩效分析自动推荐AI方案的系统中当医生打开某个患者的报告时自动推荐默认AI方案的界面示意图；如图12所示，若肺癌筛查检查时，医生使用XX肺结节结果符合率高，则默认加载XX肺结节AI模型。

本发明实施例设置了记录模块、处理模块、推荐模块，可以动态记录医生对AI模型输出的AI数据的修改日志，基于修改日志，输出每个AI模型输出的AI数据的符合率；将符合率最高的AI模型确定为在该检查目的下的默认AI方案，当医生准备撰写影像结构化报告时，自动将默认AI方案推荐给医生；可以根据影像医生对结构化报告填写内容的修改以及患者检查目的的分析，来客观判断这个AI模型是否适合该病例的诊断，能够自动推送默认质量最高的AI模型进行使用。

实施例三

图13示出了根据本发明实施例三的基于结构化报告的绩效分析自动推荐AI方案的系统结构示意图；如图13所示，处理模块20还包括：确定单元202、计算单元204和输出单元206，其中，

确定单元202，与输出单元206相连，用于基于AI模型输出的病灶列表、医生确认发送到影像结构化报告中的病灶列表，确定假阳性病灶的概率；

计算单元204，与输出单元206相连，用于基于测量值、修改的测量值、关键图像、调整的关键图像和诊断结论，确定测量值和关键图像的修改率；

输出单元206，分别与确定单元202和计算单元204相连，用于根据假阳性病灶的概率和/或修改率，输出每个AI模型输出的AI数据的符合率。

实施例四

图14示出了根据本发明实施例四的基于结构化报告的绩效分析自动推荐AI方案的系统结构示意图；如图14所示，推荐模块30还包括提示单元302，用于在将默认AI方案推荐给医生的同时，将该检查目的下其他所有AI模型输出的AI数据和与之对应的符合率提示给医生。

本发明的实施例中的提示单元，可以在将默认AI方案推荐给医生的同时，将该检查目的下其他所有AI模型输出的AI数据和与之对应的符合率提示给医生，以便医生了解相同检查目的下的每个AI模型输出的AI数据的符合率，方便每个AI模型之间的对比。

实施例五

图15示出了根据本发明实施例五的基于结构化报告的绩效分析自动推荐AI方案的系统结构示意图；如图15所示，当医生使用默认AI方案，得出诊断结论后，该系统还包括：计算模块40和对比模块50，其中，

计算模块40，与记录模块10相连，用于计算该默认AI方案对应的AI模型输出的AI数据的符合率，定义为默认AI方案符合率；

对比模块50，分别与计算模块40、处理模块20相连，用于当默认AI方案符合率低于该检查目的下任一AI模型输出的AI数据的符合率时，则自动提示给医生。

当默认AI方案符合率低于该检查目的下任一AI模型输出的AI数据的符合率时，则自动提示给医生。只要是有一个AI模型输出的AI数据的符合率高于默认AI方案符合率，则就提示给医生，诊断医生可以判断该默认AI方案的应用在这个场景下，测量值/关键图像的准确性，以便医生再去进行检查，或者引用一个更加合理的AI模型重新撰写报告。

本发明实施例中设置了计算模块和对比模块，当医生使用默认AI方案，得出诊断结论后，可以计算该默认AI方案对应的AI模型输出的AI数据的符合率，当默认AI方案符合率低于该检查目的下任一AI模型输出的AI数据的符合率时，则自动提示给医生，以便医生再进行检查，甚至可以放弃该报告，直接调用另外一个更加合理的AI模型输出的AI数据重新撰写报告，可以将不合适的AI模型淘汰，质量高的AI模型浮现出来，降低科室的选择判断成本，提高了医生撰写报告效率和质量。

实施例六

图16示出了根据本发明实施例六的基于结构化报告的绩效分析自动推荐AI方案的系统结构示意图，如图16所示，处理模块20还包括统计单元208，与输出单元206相连，用于统计预设阈值中每个AI模型被使用的次数，根据假阳性病灶的概率和/或修改率，并结合AI模型被使用的次数，按照预设规则，输出每个AI模型输出的AI数据的符合率。

比如肺结节检查的影像结构化报告的完成数量设定为100例，检查目的为肺结节检查，对应于这个检查目的下的AI模型为3个，其中，有50例使用的是A1模型，有30例使用的是A2模型，有20例使用的是A3模型，A1模型假阳性病灶的概率为这50例的平均概率，修改率也是为这50例的平均修改率，最后根据平均概率、平均修改率和使用次数，按照预设规则，输出AI模型的符合率，A2模型的符合率以及A3模型的符合率同A1模型的符合率的处理方式。

其中，预设规则可以根据实际情况进行设定，比如在使用次数达到多少次的时候，符合率会加分，使用次数少于多少次的时候，符合率会减分等等，预设规则不做限定。这种方法规避了某个AI模型只使用了少数几次，但符合率也是最高的，故确定为默认AI方案的情况。加上使用次数这个因素，符合率就更加精确。

本发明实施例中的统计单元，可以统计预设阈值中每个AI模型被使用的次数，基于修改日志，并结合AI模型被使用的次数，按照预设规则，输出每个AI模型输出的AI数据的符合率，提高符合率的精度，使得推荐的AI方案更加合理，适用性更强。

从以上描述中，可以看出，本发明的上述实施例实现了如下技术效果：本发明可以动态记录医生对AI模型输出的AI数据的修改日志，基于修改日志，输出每个AI模型输出的AI数据的符合率；将符合率最高的AI模型确定为在该检查目的下的默认AI方案，当医生准备撰写影像结构化报告时，自动将默认AI方案推荐给医生；可以根据影像医生对结构化报告填写内容的修改以及患者检查目的的分析，来客观判断这个AI模型是否适合该病例的诊断，能够自动推送默认质量最高的AI模型进行使用；本发明还可以在将默认AI方案推荐给医生的同时，将该检查目的下其他所有AI模型输出的AI数据和与之对应的符合率提示给医生，以便医生了解相同检查目的下的每个AI模型输出的AI数据的符合率，方便每个AI模型之间的对比；本发明还可以当医生使用默认AI方案，得出诊断结论后，计算该默认AI方案对应的AI模型输出的AI数据的符合率，当默认AI方案符合率低于该检查目的下任一AI模型输出的AI数据的符合率时，则自动提示给医生，以便医生再进行检查，甚至可以放弃该报告，直接调用另外一个更加合理的AI模型输出的AI数据重新撰写报告，可以将不合适的AI模型淘汰，质量高的AI模型浮现出来，降低科室的选择判断成本，提高了医生撰写报告效率和质量；本发明还可以统计预设阈值中每个AI模型被使用的次数，基于修改日志，并结合AI模型被使用的次数，按照预设规则，输出每个AI模型输出的AI数据的符合率，提高符合率的精度，使得推荐的AI方案更加合理，适用性更强。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。