用于确定体外诊断系统中样品容器的特性的方法、分析装置和体外诊断系统
本公开涉及一种用于确定体外诊断系统中样品容器的特性的方法、分析装置和体外诊断系统。
背景技术
体外诊断系统适用于测试样品，诸如从人体获取的血液或组织样品。体外诊断可检测疾病或其他病症，并且可用来监测人的整体健康状况，以帮助治愈、治疗或预防疾病。体外诊断也可应用于精密医学，以确定哪些患者可能受益于特定的治疗或疗法。一些体外诊断测试用于实验室或其他卫生专业机构。
样品容器(也称为样品器皿)诸如血液采集管，以及其他容器诸如尿液、拭子、组织、骨髓、毛细血管等，现在通常通过自动化解决方案(体外诊断系统)进行处理和搬运。此类自动化解决方案要可靠运行，需要样品容器分析装置(SCAM)至少提供以下项中的至少一项：识别样品器皿的存在；识别样品器皿的状态，如打开与关闭、向上与倒置、标记与未标记、旋转与未旋转；报告容器的位置和/或姿势；报告与容器有关的零件的位置和/或姿势，例如标签、盖子或取向标记的位置和/或姿势；识别样品容器的类型(TTI)；以及识别样品容器的或其上的不规则部分。这是所拍摄的图像中样品容器或器皿的清晰对象定位，从而允许清晰地传播样品容器的轮廓，例如以便得出确切的几何形状、状态等。
目前的样品容器分析装置(SCAM)很多情况下难以可靠地运行。这种情况可能会导致意外停工，需要手动干预步骤来弥补这些系统的缺点。
文献US 2019/0033209 A1公开了一种用于量化试样的基于模型的方法。该方法包括：提供试样；在不同标称波长和曝光的多个光谱照射下捕获试样的图像；以及将试样分类为各种类别类型，包括血清或血浆部分、沉淀血液部分、凝胶分离器(如果使用)、空气、管、标签或瓶盖中的一个或多个；以及对试样进行量化。量化包括确定以下一项或多项：液-气界面的位置、血清-血液界面的位置、血清-凝胶界面的位置、血液-凝胶界面的位置、血清或血浆部分的体积和/或深度、或沉淀血液部分的体积和/或深度。描述了适于执行该方法的质量检查模块和试样测试设备，以及其它方面。此外，文献US 2018/0365530 A1提及确定试样容器的特性的基于模型的方法。
文献US 2018/0364268 A1公开了一种对试样容器中的试样进行分类的基于模型的方法。
文献WO 2019/018314 A1公开了一种用于表征试样和/或试样容器的设备。该表征设备包括：成像位置，该成像位置配置为接纳包含试样的试样容器；光源，该光源配置为提供成像位置的照明；以及高光谱图像捕获装置。该高光谱图像捕获装置配置为在光谱图像捕获装置处生成和捕获试样容器和试样的小部分的光谱解析图像。由计算机处理在光谱图像捕获装置处接收的光谱解析图像数据以确定以下项中的至少一项：试样和/或试样容器中至少一个的分割；以及干扰物(诸如溶血、黄疸或脂血症)的存在或不存在的确定。描述了对试样和/或试样容器以及包括表征设备的试样测试设备成像的方法，以及其他方面。
WO 2018/022280 A1公开了一种确定试样容器瓶盖的特性以识别容器瓶盖的基于模型的方法。该方法包括：提供包括容器瓶盖的试样容器；捕获以不同的曝光长度和使用多个不同的标称波长拍摄的容器瓶盖的背光图像；从每个标称波长的不同曝光长度的图像中选择最佳曝光的像素，以生成每个标称波长的最佳曝光的图像数据；将最佳曝光像素至少分类为管、标签或瓶盖中的一个；以及基于分类为瓶盖的最佳曝光像素和每个标称波长的图像数据来识别容器瓶盖的形状。描述了适于执行该方法的质量检查模块和试样测试设备，以及多个其他方面。
Zayde等人在“精确目标识别和颜色分析的双图像方法的发展与应用”(《食品工程杂志》，英国埃塞克斯郡巴金，第111卷，第1期，2012年1月28日(2012-01-28)，第46-51页)中描述了图像分割(目标与背景的分离)。具体地，对于与背景颜色相似的对象，应用“双图像”方法。该方法包括：根据从背光图像获得的剪影定义对象；以及使用从背光图像分割的前照图像执行颜色分析。
文献WO 2018/089935 A1提及一种包括图案生成的表征设备。在一些实施例中，该表征设备配置成表征试样和/或试样容器。
US 7840360 B1公开了一种用于非侵入性地检查包含液体的能够透射红外光的一个或多个器皿的系统和方法，该系统和方法将近红外(NIR)成像装置与一个或两个NIR光源、漫射器板和光学波长选择装置相结合使用，提供该光学波长选择装置用于选择一个或多个波长带。
发明内容
本公开的一个目的是提供一种用于确定样品器皿(样品容器)的特性的方法、分析装置和体外诊断系统，它们支持安全而有效地处理体外诊断系统中样品器皿。
为了解决该问题，提供了一种用于确定根据权利要求1所述的体外诊断系统中样品器皿的特性的方法。此外，提供了分别根据权利要求11和12所述的分析装置和体外诊断系统。另外，还提供了根据权利要求13所述的体外预分析系统。从属权利要求中公开了其他实施例。
根据一个方面，提供了一种用于确定体外诊断系统中样品器皿(样品容器)的特性的方法，该方法包括以下步骤：在体外诊断系统的具有一个或多个处理器的分析装置中，提供表示样品器皿在第一场景中的第一图像的第一图像数据，其中在第一场景中，向样品器皿施加包括样品器皿的背景照明的第一照明条件；提供表示样品器皿在第二场景中的第二图像的第二图像数据，其中在第二场景中，向样品器皿施加不同于第一照明条件的第二照明条件；根据第一图像确定掩模或掩模图像，该掩模指示第一图像的子图像区段，该子图像区段包括第一图像中样品器皿的表示形式；通过向第二图像施加掩模，根据第二图像确定子图像数据/图像数据子集，该子图像数据/图像数据子集包含第二图像中样品器皿的表示形式；以及根据图像数据分析确定样品器皿的特性，该图像数据分析包括子图像数据的图像数据分析。
根据另一方面，提供了一种用于确定样品器皿(样品容器)的特性的分析装置，该分析装置包括一个或多个处理器，该一个或多个处理器配置为：提供表示样品器皿在第一场景中第一图像的第一图像数据，其中在第一场景中，向样品器皿施加包括样品器皿的背景照明的第一照明条件；提供表示样品器皿在第二场景中第二图像的第二图像数据，其中在第二场景中，向样品器皿施加不同于第一照明条件的第二照明条件；根据第一图像确定掩模，该掩模指示第一图像的子图像区段，该子图像区段包括第一图像中样品器皿的表示形式；通过向第二图像施加掩模，根据第二图像确定子图像数据，该子图像数据包含第二图像中样品器皿的表示形式；以及根据图像数据分析确定样品器皿的特性，该图像数据分析包括子图像数据的图像数据分析。
根据再一方面，提供了一种体外诊断系统，其包括具有一个或多个处理器的分析装置，该分析装置配置为：提供表示样品器皿在第一场景中第一图像的第一图像数据，其中在第一场景中，向样品器皿施加包括样品器皿的背景照明的第一照明条件；提供表示样品器皿在第二场景中第二图像的第二图像数据，其中在第二场景中，向样品器皿施加不同于第一照明条件的第二照明条件；根据第一图像确定掩模，该掩模指示第一图像的子图像区段，该子图像区段包括第一图像中样品器皿的表示形式；通过向第二图像施加掩模，根据第二图像确定子图像数据，该子图像数据包含第二图像中样品器皿的表示形式；以及根据图像数据分析确定样品器皿的特性，该图像数据分析包括子图像数据的图像数据分析。
根据再一方面，提供了一种体外预分析系统，其包括具有一个或多个处理器的分析装置，所述分析装置配置为提供表示样品器皿在第一场景中的第一图像的第一图像数据，其中在第一场景中，向样品器皿施加包括样品器皿的背景照明的第一照明条件；提供表示样品器皿在第二场景中的第二图像的第二图像数据，其中在第二场景中，向样品器皿施加不同于第一照明条件的第二照明条件；根据第一图像确定掩模，该掩模指示第一图像的子图像区段，该子图像区段包括第一图像中样品器皿的表示形式；通过向第二图像施加掩模，根据第二图像确定子图像数据，该子图像数据包含第二图像中样品器皿的表示形式；以及根据图像数据分析确定样品器皿的特性，该图像数据分析包括子图像数据的图像数据分析。
所提出的技术提供了对样品器皿和属性的至少一种更可靠的识别，并在针对不同场景拍摄的样品器皿的数字图像中摆出姿势。基于第一图像，根据第一图像确定样品器皿的掩模。器皿的掩模指示样品器皿的轮廓线，在一些实施例中，该轮廓线也可称为样品器皿的轮廓。随后，可以以提高的准确度来确定样品特性。以更高的可靠性确定特性将支持体外诊断系统的更安全的操作。
在另选的实施例中，可确定多于一个样品器皿(多个样品器皿)的特性。可确定所有样品器皿的共同特性。另选地，可确定不同样品器皿的不同特性。
该方法还可包括生成表示样品器皿的第三图像的第三图像数据，该第三图像数据包括子图像数据。第三图像将至少显示来自通过施加掩模(样品器皿的轮廓线或轮廓)定义的图像区域的图像数据。在一些实施例中，可以允许在数字图像分析中独立地处理第三图像的图像数据以用于确定特性。
可向第二图像数据提供第二照明条件，该第二照明条件从以下组中进行选择：无背景照明；仅不同于背景照明的非背景照明，诸如顶部照明或正面照明中的至少一个；以及背景照明和非背景照明的组合。可施加来自该组的照明条件中的一个或多个。
该方法还可包括在背景照明和非背景照明中的至少一个下施加漫射照明。
可提供背景图像数据，该背景图像数据表示缺少样品器皿的背景场景的背景图像，其中在背景场景中，施加第一照明条件。背景场景可与施加第一照明条件的第一场景相对应，但缺少或不存在样品器皿。
具体地，掩模可指示第一图像的哪个部分与样品器皿有关，以及第一图像的哪个部分与样品器皿无关。
确定掩模可包括处理第一图像数据和背景图像数据。
对第一图像数据和背景图像数据的处理可包括将第一图像中的图像区域的亮度与背景图像中的对应图像区域进行比较。
掩模的确定可包括确定第一图像中每个点/每个像素的透射值。该确定可包括将第一图像与背景图像进行比较。例如，可通过逐像素比较图像来比较第一图像和背景图像。可以规定，如果(图像像素的)透射值小于阈值，例如约90％、约95％或约98％，则将掩模中的图像像素分配给与样品器皿相关的图像区域，否则将像素分配给与样品器皿无关的图像区域(背景)。通过确定透射值，还可以检测样品器皿的透明体或区段。
可提供参考图像数据，该参考图像数据表示缺少样品器皿的背景场景的参考图像，其中施加第二照明条件。可在样品器皿在第一场景和/或第二场景中所处的位置提供参考对象。参考对象可以是平坦的材料对象，优选地具有限定的反射率。另选地，可将背景照明(装置)的表面作为参考对象施加。
可以规定，借助于参考图像，生成替换第二图像的经校正临时图像。该生成可包括校正第二图像的不均匀的空间照明和/或在光谱上校正第二图像。
特性的确定可包括对于样品器皿或样品器皿的子部分，确定以下项中的至少一项：几何特性；颜色特性；器皿类型；样品器皿的姿势；样品器皿中样品的存在或不存在；样品器皿中样品的状态；样品器皿中样品的取样状态；以及样品器皿上提供的信息。
相对于用于确定上述样品器皿的特性的方法所公开的实施例可在细节上作适当修改后适用于分析装置、体外诊断系统和体外预分析系统中的至少一个。
附图说明
接下来，参考附图以举例的方式描述实施例。在附图中示出：
图1用于检测在针对样品器皿施加不同照明条件的不同场景中所提供的样品器皿的图像的布置的示意性表示形式；
图2用于检测在针对样品器皿施加不同照明条件的不同场景中所提供的样品器皿的图像的另一布置的示意性表示形式；
图3在一种用于确定体外诊断系统中样品器皿的特性的方法中所提供的不同图像的示意性表示形式；
图4在一种用于确定体外诊断系统中样品器皿的特性的方法中所提供的不同图像的另一个示意性表示形式，其中拍摄了多个样品器皿的图像；以及
图5在一种用于使用平场和/或白平衡校正确定体外诊断系统中样品器皿的特性的方法中所提供的不同图像的示意性表示形式。
具体实施方式
图1和图2示出了用于检测和处理在对样品器皿1施加不同照明条件的不同场景中所提供的样品器皿1的(数字)图像的布置的示意性表示形式。样品器皿1可接纳(测试)样品，诸如从人体采集的血液或组织样品。可通过分析接纳在体外诊断系统中样品器皿1中的测试样品来检测疾病或其他病症。
可在提供在体外诊断系统中的分析装置中使用图1和图2中所描绘的布置来检测至少通过施加到样品器皿1的不同照明条件区分开的不同场景中样品器皿1的多个图像。
在检测之后，可通过图像数据分析或处理来分析通过图1和图2中的布置检测到的图像，以确定样品器皿1的特性(即，样品器皿的特性)。可在体外诊断系统中处理或使用有关特性的信息以操作系统。因此，对特性的可靠确定将支持体外诊断系统中样品器皿1和接纳在样品器皿1中样品的安全操作。例如，响应于确定特定的特性，可在体外诊断系统中向样品分析的一些特殊程序提供样品器皿1，该特殊程序分配给样品器皿1的确定的特性。
对于图1和图2中所描绘的布置，存在用于为样品器皿1提供背景照明的背景照明装置2。背景照明装置2主要将光引导到样品器皿1的背面或样品器皿1的正在分析的部分。此外，例如，提供用于施加漫射照明的照明装置3a、3b。背景照明装置2还可设置有用于漫射背景照明的光源。在另选的实施例中，背景照明装置2和照明装置3a、3b中的至少一个可经配置为样品器皿1提供非漫射照明。照明装置3a、3b可用于样品器皿1的正面照明和/或顶部照明，从而提供在不同场景中对样品器皿1施加不同照明条件的选项。
另外，在所示的实施例中，背景照明装置2在样品器皿1的整个尺寸上延伸。例如，背景照明装置2可设置有：自发光照明面板，例如，基于LED(LED-发光二极管)或OLED(LED-有机发光二极管)的照明面板；或非自发光表面，其被间接照明。可为照明装置3a、3b提供类似的配置。照明的波长根据应用进行选择。简单的存在检测可使用窄带宽光，诸如来自彩色LED的光。瓶盖的颜色确定可能需要白光。
提供用于在样品器皿1被背景照明装置2和/或照明装置3a、3b照明时检测或获取样品器皿1的(数字)图像的检测装置4。另外，在背景照明装置2和照明装置3a、3b的光源没有照明样品器皿1的情况下，可由检测装置4检测图像。设置有检测装置4的相机可以是“灰度”相机、RGB相机，或者可以是具有特定灵敏度的相机，这取决于目的或应用。检测装置4还可具有飞行时间能力或者可以是立体相机，以便还检索3D数据或距离信息。相对于检测装置4，背面或背景照明装置2放置在比样品器皿或容器1更远的距离处。
背景照明装置2、照明装置3a、3b和可设置有数字相机的检测装置4连接至控制装置5，该控制装置配置为在针对不同场景检测样品器皿1的图像的同时控制不同装置的操作。在图像获取过程中，控制装置5通过背景照明装置2和照明装置3a、3b中的至少一个来控制检测装置4和场景的照明。这可包括部件触发、供电、同步和参数化中的任一者。控制装置5还可配置为处理根据此处公开的不同实施例的图像。
对于图1和图2中的不同布置，存在不同类型的光学元件6，诸如场透镜(参见图1)和柱面透镜(参见图2)，用于根据要检测的场景提供优化的光学条件。
可与控制装置5一起实现并且包括用于处理(数字)图像数据的一个或多个处理器的分析装置7连接至检测装置4。检测装置4检测到的多个图像将在分析装置7中进行处理，以确定样品器皿1的特性。分析装置7可连接至虚拟主机或服务器装置(未示出)以进行数据通信和同步。
图3和图4各自示出了在一种用于根据例如通过图1和图2所示的布置中一个检测到的图像来确定一个或多个样品器皿的特性的方法中所提供的多个(数字)图像的示意性表示形式。检测装置4检测到的多个图像由分析装置7进行处理，如以下针对实施例所描述的。根据图3中的实施例，在第一图像30中，示出了(单个)样品器皿31，其表示单个样品器皿诸如图1和图2中所描绘的样品器皿1。
图4示出了在一种用于在体外诊断系统中确定样品器皿的特性的方法中提供的不同图像的另一个示意性表示形式，其中提供了多个样品器皿32的图像。根据图4，在另选的实施例中，在第一图像30中示出了多个样品器皿32，多个样品器皿32表示各自用于接纳样品的多个样品器皿，诸如多个样品器皿1。图4还示出了如何通过施加正面照明来很好地显示样品器皿32的均匀透明区段。
第一图像30表示在对样品器皿31施加背景照明的第一场景中样品器皿31的图像。类似地，图4中的第一图像30表示施加由背景照明装置2提供的背景照明的第一场景中多个样品器皿32的图像。
提供用于样品器皿31/多个样品器皿32的掩模33，掩模33表示样品器皿31或多个样品器皿32的轮廓线或轮廓。通过对第一图像30进行图像数据分析或处理来生成掩模33。掩模33包括与样品器皿31、32有关的区域33a和与样品器皿31、32无关但与背景有关的区域33b。
仍然参考图3和图4，示出了第二图像34，该第二图像显示对其施加了第二照明条件的第二场景中样品器皿31/多个样品器皿32，该第二照明条件不同于用于检测第一图像30的第一照明条件。在图4所示的实施例中，第二照明条件施加由背景照明装置2提供的背景照明和(除了第一场景之外)由照明装置3a、3b提供的顶部照明和/或正面照明。
掩模33施加至第二图像34以处理掩模图像35，该掩模图像包括来自第二图像34中图像数据子集的图像数据，其中图像数据子集由掩模33定义。所描述的过程的结果是，由图像数据子集描绘的样品器皿31/多个样品器皿32的(管)图像与背景清楚地分开，是全色的，并且没有反射和阴影。因此，具体地，掩模图像35使得能够进行简单可靠的图像分析，以诸如进行器皿姿势和器皿类型识别。
随后，可处理掩模图像35以确定样品器皿31、32中的一个或全部的特性。例如，要通过图像数据分析确定的特性可包括以下一个或多个特性：样品器皿的存在或不存在；样品容器的位置；样品器皿的姿势；样品器皿的夹持点；样品容器的大小；样品容器的状态，例如填充或未填充；容器部分的性质，例如瓶盖的颜色、管的长度、液位；以及样品容器类型。同样得知掩模图像35的这种数据或图像分析。
上面概述的过程或方法提供了根据基于第一图像30、第二图像34和掩模33的图像数据处理导出的掩模图像35而对特性的更可靠确定。
根据图3和图4所示的实施例，由背景场景的检测装置4检测背景图像36。对于背景场景，施加第一照明条件，其中背景照明由背景照明装置2提供。在背景场景中，任何样品器皿都缺失或不存在。
处理背景图像36以及第一图像30以确定掩模33。掩模33的确定可包括确定第一图像30中每个点、每个像素或每个区段的透射值。将第一图像30与背景图像36进行比较。例如，可通过逐像素比较图像来比较第一图像30和背景图像36。可以规定，如果(图像像素的)透射值小于阈值，例如约90％、约95％或约98％，则将掩模33中对应的图像像素分配给与样品器皿31、32有关的图像区域，否则将像素分配给与样品器皿31、32无关的图像区域(背景)。通过确定透射值，还可检测透明体。
例如，第一图像30、掩模33、第二图像34、背景图像36和参考图像50中的至少一个可存储在控制装置5的存储器或控制装置5可访问的存储器中。
图5示出了在一种用于使用平场和/或白平衡校正确定体外诊断系统中样品器皿的特性的方法中所提供的不同图像的示意性表示形式。
在背景图像36中，描绘了三角形符号37，该三角形符号示意性地表示背景照明场景中的真实对象或虚拟对象，例如照明不均匀性。由于真实对象或虚拟对象(由三角形37象征性地表示)在背景图像36和示出样品器皿31的第一图像30中都存在，因此它不会对掩模33产生负面影响。
在第二图像34中，示出了圆圈符号38，该圆圈符号示意性地表示例如照明不均匀性，特别是在应用照明装置3a、3b的正面照明情况下。例如，这种照明不均匀性可能是指边缘区域亮度较低。这可能是由于所应用的照明装置3a、3b和/或成像光学器件引起的。
提供参考图像50，其也可称为第二背景图像，用于补偿由圆圈符号38示意性表示的不均匀性。处理参考图像50和第二图像34，以确定针对由圆圈符号38示意性地表示的不均匀性而校正的经校正临时图像51。接着，通过处理掩模33和经校正临时图像51来确定掩模图像35。
关于由圆圈符号38表示的不均匀性，可使用白色板作为基准，其可“漂亮地”反映曝光的差异。由于(照明)不均匀性随时间变化(只要设置不发生变化)，因此捕获和存储参考图像50一次就足够了。然后，无样品器皿31的参考图像50的亮度分布用作补偿或校正。例如，如果图像子区域的亮度仅为与该图像子区域不同的另一图像子区域的一半，则相应地按比例放大该图像子区域的强度(像素)值。此外，如果中性白图像子区域未显示标称R:G:B比率(例如，1:1:1)，则这些R:G:B比率可被归一化(其在技术上对应于白平衡)。后者用于校正由诸如数字相机的检测装置4的照明或颜色再现引起的颜色误差。
附图标记列表
1 样品器皿
2 背景照明装置
3a、3b 照明装置
4 检测装置
5 控制装置
6 光学元件
7 分析装置
30 第一图像
31 样品器皿(在图中示出)
32 多个样品器皿(在图中示出)
33 掩模
33a 与样品器皿有关的区域
33b 与样品器皿无关的区域
34 第二图像
35 掩模图像
36 背景图像
37 三角形符号
38 圆圈符号
50 参考图像
51 经校正临时图像
- 上一篇：石墨接头机器人自动装卡簧、装栓机
- 下一篇：食物成熟度检测装置以及方法
