一种涂片图像获取与分析系统

文档序号:6078 发布日期:2021-09-17 浏览:42次 英文

一种涂片图像获取与分析系统

技术领域

本申请涉及自动化处理

技术领域

,特别是涉及一种涂片图像获取与分析系统。

背景技术

为了诊断患者是否罹患癌症或具有倾向,需要从患者取出细胞样品并对所述细胞样品进行彻底分析,以便评价是否存在不正常的或异常的细胞。病理学家或其它熟练的医护人员主要基于样品中的细胞的特定特征来做出诊断。这些细胞学试验是基于存在于样品中的细胞的二维呈现,且大部分需要将细胞固定在基质上和使用染料或染色剂使细胞的特定特征显影。现有技术中虽然存在对取样、涂片制备或细胞识别的自动化处理,但是实际判断还需要医务人员的参与,例如,载物台的控制、细胞识别的判断、分析报告的制作等等,由于医务人员的水平的差别,影响了检测的效率和结果的准确性。

发明内容

本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。

根据本申请的一个方面,提供了一种涂片图像获取与分析系统,包括:

载物台,用于承载细胞涂片;

电机控制装置,和所述载物台连接,用于控制所述载物台在三维空间中运动;

物镜转换装置;

显微镜,与所述物镜转换装置连接,用于观测所述细胞涂片;

相机,与所述显微镜连接,用于拍摄所述显微镜观测的图像;

图像质量检测装置,用于与所述相机连接,用于控制相机的拍摄,接收所述相机拍摄的图像,并且检测所述图像的离焦测度值和亮度;

主控制器,分别与图像质量检测装置、物镜转换装置和电机控制装置连接,用于接收图像质量检测装置的离焦测度值和亮度,以控制所述电机控制装置,并且用于控制所述物镜转换装置进行物镜转换;和

图像分析装置,与所述主控制器连接,用于接收所述图像质量检测装置传送的所述图像,对所述图像进行拼接和分析。

该系统通过显微成像装置和主控制器的配合能够自动对细胞涂片自动拍照,并且对图像质量进行分析,对光照进行调节,从而获得清晰的图像,通过图像拼接能够得到完整的细胞涂片照片,从而能够更加完整和全面地进行图像分析。

可选地,所述电机控制装置包括:

传动机构,用于控制所述载物台在三维空间中运动;

电机,分别与所述传动机构和所述主控制器连接,用于控制所述传动机构,并且基于所述图像质量检测装置检测的离焦测度值驱动所述传动机构;

LED阵列电路,与所述主控制器连接,用与为所述载物台提供照明,并且基于所述图像质量检测装置检测的亮度改变照明的强度;和

限位检测传感器,与所述主控制器连接,用于检测所述细胞涂片的边缘是否位于所述显微镜的视野内。

可选地,所述图像质量检测装置包括:

相机驱动电路,与所述相机连接,用于驱动所述相机;

图像传输电路,与所述相机驱动电路连接,用于采集所述相机拍摄的图像,对所述图像进行预处理并传输给第一控制器经由所述主控制器传输至所述图像质量检测装置;和

微处理器,与所述主控制器连接,分别与所述相机和所述相机驱动电路连接,用于根据在所述显微镜距离所述载物台的不同高度时所述相机拍摄的图像计算离焦测度值,将所述离焦测度值经由所述图像传输电路发送给所述主控制器,以便所述主控制器根据所述离焦测度值控制所述电机控制装置的运动;和用于计算相机拍摄的所述图像的亮度和所述图像的复杂度,将所述亮度和所述复杂度经由所述图像传输电路发送给所述主控制器,以便所述主控制器根据所述亮度和所述复杂度控制所述LED阵列电路。

可选地,所述主控制器用于执行初始化步骤,所述初始化步骤包括:

载物台初始化步骤:控制所述物镜转换装置使低倍物镜对准所述载物台,控制所述电机控制装置,使得所述载物台到达距离所述低倍物镜最近的位置,并且使所述细胞涂片的扫描原点对准所述低倍物镜;

第一焦距调整步骤:控制所述控制电机控制装置,使得所述载物台在竖直方向远离所述物镜到第一预定距离,接收所述相机拍摄得到第一低倍图像,计算该第一低倍图像的灰度差分绝对值之和,得到第一离焦测度值;控制所述控制电机控制装置,使得所述载物台继续在竖直方向远离所述物镜到第二预定距离,接收所述相机拍摄得到第二低倍图像,计算该第二低倍图像的灰度差分绝对值之和,得到第二离焦测度值;在第一离焦测度值小于第二离焦测度值时,继续所述控制电机控制装置使所述载物台在竖直方向远离所述物镜并且接收所述相机拍摄得到的低倍图像,直到计算得到的离焦测度值大于或者等于后一次计算得到的离焦测度值,将离焦测度值最大的位置作为对焦位置;和

亮度调节步骤:接收所述亮度检测电路发送的所述图像的亮度和所述图像的复杂度,在所述图像的亮度小于第一阈值并且所述图像的复杂度小于第二阈值的情况下,控制所述LED阵列电路增加照明的强度。

可选地,所述主控制器在执行所述初始化步骤后,还执行低倍图像传输步骤,所述低倍图像传输步骤包括:

控制所述电机控制装置以第一步进距离控制所述载物台,使得相机对所述细胞涂片按照行进行拍摄并得到低倍图像,将所述低倍图像、低倍图像编号和对应的载物台坐标传送到所述图像分析装置;

其中,在限位检测传感器检测到所述细胞涂片的边缘位于所述显微镜的视野内的情况下,接收所述限位检测传感器发送的边缘检测信号,控制所述电机控制装置以使得所述细胞涂片在水平面上与该行垂直的方向运动一个像素块的距离,再拍摄下一行。

可选地,所述主控制器在执行所述低倍图像传输步骤后,还执行高倍图像传输步骤,所述高倍图像传输步骤包括:

在所述图像分析装置对所述主控制器传送的所有低倍图像进行拼接和分析,得到至少一个感兴趣的低倍图像的情况下,控制所述物镜转换装置使高倍物镜对准所述载物台,控制所述电机控制装置,使得所述载物台在水平面上移动到与所述至少一个感兴趣的低倍图像对应的载物台坐标处;

在所述相机拍摄到与所述至少一个感兴趣的低倍图像对应的所述细胞涂片的高倍图像的情况下,接收所述高倍图像并将所述高倍图像、高倍图像编号和对应的载物台坐标传送至所述图像分析装置。

可选地,所述主控制器在执行所述低倍图像传输步骤后,还执行高倍图像传输步骤,所述高倍图像传输步骤包括:

在所述图像分析装置对所述主控制器传送的所有低倍图像进行拼接和分析,得到至少一个感兴趣的低倍图像的情况下,控制所述物镜转换装置使高倍物镜对准所述载物台,根据所述低倍物镜和所述高倍物镜之间的关系,基于所述至少一个感兴趣的低倍图像和和对应的载物台坐标计算所述电机控制装置控制所述载物台移动的坐标范围;

控制所述电机控制装置以第二步进距离控制所述载物台,使得所述载物台在所述坐标范围内移动,其中,第二步进距离小于第一步进距离;

在所述相机对所述细胞涂片进行拍摄并得到高倍图像的情况下,接收所述高倍图像并将所述高倍图像传送至所述图像分析装置,以便所述图像分析装置对所述高倍图像进行拼接和分析。

可选地,所述图像分析装置包括:存储器、处理器和显示装置,所述处理器分别与所述存储器和所述显示装置连接,其中,

所述存储器中存储有数据库,所述数据库中存储有与所述细胞涂片具有相同来源的历史图像;

所述处理器,与所述主控制器连接,用于接收所述图像质量检测装置传送的所述图像,基于所述图像和所述数据库中的历史图像进行对比,对所述图像中的细胞的种类进行判断;

所述显示装置用于显示处理器判断的结果。

可选地,所述存储器内还存储有能由所述处理器运行的计算机程序,其中,所述处理器执行所述计算机程序时实现以下步骤:

低倍图像拼接步骤:接收所述主控器发送的所述低倍图像、低倍图像编号和对应的载物台坐标,根据低倍图像编号和对应的载物台坐标将所述低倍图像拼接为所述细胞涂片的完整低倍图像。

可选地,在所述低倍图像拼接步骤后,所述处理器执行所述计算机程序时还实现以下步骤:

图像分割步骤:对所述完整低倍图像进行图像分割并进行黑白反色处理,通过边缘检测得到感兴趣区域的外轮廓,将含有所述外轮廓的低倍图像作为感兴趣的低倍图像,将所述感兴趣的低倍图像的编号和对应的载物台坐标发送给所述主控制器。

根据下文结合附图对本申请的具体实施例的详细描述,本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。

附图说明

后文将参照附图以示例性而非限制性的方式详细描述本申请的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解,这些附图未必是按比例绘制的。附图中:

图1是根据本申请的涂片图像获取与分析系统的示意性结构图;

图2是根据本申请的系统的电机控制装置的示意性结构图;

图3是根据本申请的系统的图像质量检测装置的示意性结构图;

图4是根据本申请的系统的图像分析装置的示意性结构图。

具体实施方式

根据下文结合附图对本申请的具体实施例的详细描述,本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。

本申请的实施例提供了一种涂片图像获取与分析系统。图1是根据本申请的涂片图像获取与分析系统的示意性结构图。该系统包括:载物台,用于承载细胞涂片;电机控制装置,和所述载物台连接,用于控制所述载物台在三维空间中运动;物镜转换装置;显微镜,与所述物镜转换装置连接,用于观测所述细胞涂片;相机,与所述显微镜连接,用于拍摄所述显微镜观测的图像;图像质量检测装置,用于与所述相机连接,用于控制相机的拍摄,接收所述相机拍摄的图像,并且检测所述图像的离焦测度值和亮度;主控制器,分别与图像质量检测装置、物镜转换装置和电机控制装置连接,用于接收图像质量检测装置的离焦测度值和亮度,以控制所述电机控制装置,并且用于控制所述物镜转换装置进行物镜转换;和图像分析装置,与所述控制器连接,用于接收所述图像质量检测装置传送的所述图像,对所述图像进行拼接和分析。

其中,载物台、电机控制装置、物镜转换装置、显微镜、相机和图像质量检测装置构成了显微成像装置。

该系统通过显微成像装置和主控制器的配合能够自动对细胞涂片自动拍照,并且对图像质量进行分析,对光照进行调节,从而获得清晰的图像,通过图像拼接能够得到完整的细胞涂片照片,从而能够更加完整和全面地进行图像分析。

图2是根据本申请的系统的电机控制装置的示意性结构图。可选地,所述电机控制装置包括:传动机构,用于控制所述载物台在三维空间中运动;电机,分别与所述传动机构和所述主控制器连接,用于控制所述传动机构,并且基于所述图像质量检测装置检测的离焦测度值驱动所述传动机构;LED阵列电路,与所述主控制器连接,用与为所述载物台提供照明,并且基于所述图像质量检测装置检测的亮度改变照明的强度;和限位检测传感器,与所述主控制器连接,用于检测所述细胞涂片的边缘是否位于所述显微镜的视野内。

可选地,主控制器通过COM1通信端口控制可编程LED阵列电路显示所需的光照强度;通过COM2通信端口控制电机以驱动传动机构改变细胞涂片距离显微镜的位置;通过电平转换芯片所述图像质量检测装置提供触发信号以触发相机工作。本电机控制装置定义了基于串口发送的数据协议。在LED阵列电路驱动数据协议中,主控制器通过COM1通信端口发送控制指令至LED阵列电路控制其工作状态,使其输出不同的工作模式信号至可编程LED阵列显示。工作模式可以包括:暗光模式、强光模式、光场模式、差分成像模式、自定义模式,在自定义模式下,光强度可以实现多级变换。

采用电机控制装置既能够对涂片位置进行控制,又能够对光照强度进行控制,从而能够得到清晰的图像。

图3是根据本申请的系统的图像质量检测装置的示意性结构图。可选地,所述图像质量检测装置包括:相机驱动电路,与所述相机连接,用于驱动所述相机;图像传输电路,与所述相机驱动电路连接,用于采集所述相机拍摄的图像,对所述图像进行预处理并传输给第一控制器经由所述主控制器传输至所述图像质量检测装置;微处理器,与所述主控制器连接,分别与所述相机和所述相机驱动电路连接,用于根据在所述显微镜距离所述载物台的不同高度时所述相机拍摄的图像计算离焦测度值,将所述离焦测度值经由所述图像传输电路发送给所述主控制器,以便所述主控制器根据所述离焦测度值控制所述电机控制装置的运动;和用于计算相机拍摄的所述图像的亮度和所述图像的复杂度,将所述亮度和所述复杂度经由所述图像传输电路发送给所述主控制器,以便所述主控制器根据所述亮度和所述复杂度控制所述LED阵列电路。

通过该图像质量检测装置,能够对拍摄的图像进行分析,从而判断LED阵列电路的光强是否合适,从而拍出更加清晰的图像。

可选地,所述主控制器用于执行初始化步骤,所述初始化步骤包括:

载物台初始化步骤:控制所述物镜转换装置使低倍物镜对准所述载物台,控制所述电机控制装置,使得所述载物台到达距离所述低倍物镜最近的位置,并且使所述细胞涂片的扫描原点对准所述低倍物镜;

第一焦距调整步骤:控制所述控制电机控制装置,使得所述载物台在竖直方向远离所述物镜到第一预定距离,接收所述相机拍摄得到第一低倍图像,计算该第一低倍图像的灰度差分绝对值之和,得到第一离焦测度值;控制所述控制电机控制装置,使得所述载物台继续在竖直方向远离所述物镜到第二预定距离,接收所述相机拍摄得到第二低倍图像,计算该第二低倍图像的灰度差分绝对值之和,得到第二离焦测度值;在第一离焦测度值小于第二离焦测度值时,继续所述控制电机控制装置使所述载物台在竖直方向远离所述物镜并且接收所述相机拍摄得到的低倍图像,直到计算得到的离焦测度值大于或者等于后一次计算得到的离焦测度值,将离焦测度值最大的位置作为对焦位置;和

亮度调节步骤:接收所述亮度检测电路发送的所述图像的亮度和所述图像的复杂度,在所述图像的亮度小于第一阈值并且所述图像的复杂度小于第二阈值的情况下,控制所述LED阵列电路增加照明的强度。

在该方法中,对于相机拍摄的第一低倍图像,采用离焦测度函数计算第一离焦测度值,离焦测度函数采用灰度梯度算子的灰度方差函数,即对XY方向求二阶偏导。载物台水平位置不变,竖直位置降低,对于相机拍摄的第二低倍图像,采用离焦测度函数计算第二离焦测度值,如果第一离焦测度值小于第二离焦测度值,继续降低载物台,继续获取低倍图像,将每次得到的低倍图像的离焦测度值与前一次比较,直至某一次调整载物台时得到的离焦测度值大于后一次调整载物台时得到的离焦测度值,将载物台调整到该次的位置,结束对焦,如果某一次调整载物台时得到的离焦测度值等于后一次调整载物台时得到的离焦测度值,将后一次载物台的位置作为焦距位置。

可以理解的是,除了利用灰度方差函数外,离焦测度函数还可以采用Brenner梯度函数、Tenengrad梯度函数、Laplacian梯度函数、方差函数、能量梯度函数、熵函数、Vollath函数实现。

图像的复杂度采用低倍图像的像素的亮度值与该低倍图像的亮度平均值之差的绝对值的加权平均值进行计算。

人眼对低频图像上的图像质量劣化比高频图像更敏感,同时,具有高复杂度的图像具有高空间频率,人眼不易觉察到图像质量劣化。对于亮度而言,人眼荣易觉察到暗区域的图像质量劣化,不易觉察亮区域的图像质量劣化。因此设置第一阈值和第二阈值的目的在于同时考虑人眼对图像亮度和复杂度的敏感度而调节光源亮度,使得成像更加清晰。

可选地,所述主控制器在执行所述初始化步骤后,还执行低倍图像传输步骤,所述低倍图像传输步骤包括:

控制所述电机控制装置以第一步进距离控制所述载物台,使得相机对所述细胞涂片按照行进行拍摄并得到低倍图像,将所述低倍图像、低倍图像编号和对应的载物台坐标传送到所述图像分析装置;

其中,在限位检测传感器检测到所述细胞涂片的边缘位于所述显微镜的视野内的情况下,接收所述限位检测传感器发送的边缘检测信号,控制所述电机控制装置以使得所述细胞涂片在水平面上与该行垂直的方向运动一个像素块的距离,再拍摄下一行。

其中,对应的载物台坐标可以由电机控制装置的运动计算得到。电机控制装置采用之字形顺序扫描图像,先扫描一行,载物台移动到第二行的末尾,从第二行末尾处开始向第二行起始点进行扫描,然后移动到第三行,以此类推,直至扫描结束。限位检测传感器可以是红外线激光对管,分别安装在物镜转换装置上和载物台下方的显微镜支座上,一般的载物台中间为透明部分,透明部分周围是非透明部分。载物台移动时,红外线激光对管相对静止。如果透明部分位于物镜正下方,则红外线激光对管接通,如果非透明部分在物镜正下方,则红外线激光对管不接通,以此判断到达细胞涂片的边缘。采用限位检测传感器能够适应透明部分面积不同的载物台,以适应不用尺寸的细胞涂片。

可选地,所述主控制器在执行所述低倍图像传输步骤后,还执行高倍图像传输步骤,所述高倍图像传输步骤包括:

在所述图像分析装置对所述主控制器传送的所有低倍图像进行拼接和分析,得到至少一个感兴趣的低倍图像的情况下,控制所述物镜转换装置使高倍物镜对准所述载物台,控制所述电机控制装置,使得所述载物台在水平面上移动到与所述至少一个感兴趣的低倍图像对应的载物台坐标处;

在所述相机拍摄到与所述至少一个感兴趣的低倍图像对应的所述细胞涂片的高倍图像的情况下,接收所述高倍图像并将所述高倍图像、高倍图像编号和对应的载物台坐标传送至所述图像分析装置。

在低倍图像中通过图像分析得到可疑的细胞区域,准备在高倍物镜下观察该可疑区域,则主控制器会根据感兴趣的低倍图像的位置计算电机的运行指令和载物台所需要移动的位置,使得细胞涂片上的相应区域位于高倍物镜之下。由于在低倍物镜和高倍物镜下,电机的步进频率不同,载物台的移动速度也不同,因此主控计算机能够低倍图像的位置计算载物台移动的次数、距离和移动范围。

可选地,所述主控制器在执行所述低倍图像传输步骤后,还执行高倍图像传输步骤,所述高倍图像传输步骤包括:

在所述图像分析装置对所述主控制器传送的所有低倍图像进行拼接和分析,得到至少一个感兴趣的低倍图像的情况下,控制所述物镜转换装置使高倍物镜对准所述载物台,根据所述低倍物镜和所述高倍物镜之间的关系,基于所述至少一个感兴趣的低倍图像和和对应的载物台坐标计算所述电机控制装置控制所述载物台移动的坐标范围;

控制所述电机控制装置以第二步进距离控制所述载物台,使得所述载物台在所述坐标范围内移动,其中,第二步进距离小于第一步进距离;

在所述相机对所述细胞涂片进行拍摄并得到高倍图像的情况下,接收所述高倍图像并将所述高倍图像传送至所述图像分析装置,以便所述图像分析装置对所述高倍图像进行拼接和分析。

图4是根据本申请的系统的图像分析装置的示意性结构图。可选地,所述图像分析装置包括:存储器、处理器和显示装置,所述处理器分别与所述存储器和所述显示装置连接,其中,

所述存储器中存储有数据库,所述数据库中存储有与所述细胞涂片具有相同来源的历史图像;

所述处理器,与所述主控制器连接,用于接收所述图像质量检测装置传送的所述图像,基于所述图像和所述数据库中的历史图像进行对比,对所述图像中的细胞的种类进行判断;

所述显示装置用于显示处理器判断的结果。

例如,该细胞涂片的来源于是植物、动物、人,该来源之前的细胞涂片的历史图像数据保存在所述数据库中,其中,历史图像数据已经是经过分析,对细胞进行分类和统计的。在本次对细胞涂片进行分析时,与历史数据进行比较,能够快速对细胞的分类进行判断,因而提高处理和分析速度。

可选地,所述存储器内还存储有能由所述处理器运行的计算机程序,其中,所述处理器执行所述计算机程序时实现以下步骤:

低倍图像拼接步骤:接收所述主控器发送的所述低倍图像、低倍图像编号和对应的载物台坐标,根据低倍图像编号和对应的载物台坐标将所述低倍图像拼接为所述细胞涂片的完整低倍图像。

可选地,在所述低倍图像拼接步骤后,所述处理器执行所述计算机程序时还实现以下步骤:

图像分割步骤:对所述完整低倍图像进行图像分割并进行黑白反色处理,通过边缘检测得到感兴趣区域的外轮廓,将含有所述外轮廓的低倍图像作为感兴趣的低倍图像,将所述感兴趣的低倍图像的编号和对应的载物台坐标发送给所述主控制器。

在图像分割步骤之后,处理器还可以执行特征提取步骤,图像特征包括:灰度、圆度、面积、周长、主轴长、次轴长、紧凑度、偏心率等特征。

分类步骤:采用python决策树,分别计算出各个特征的影响因子,得到细胞的计算公式,筛选出其中的目标细胞。

图像分析装置将所有的目标细胞输出保存,作为第一结果。结合历史数据,将细胞个数、细胞平均面积、细胞平均灰度值等数据分别与历史数据进行对比,生成相应的变化趋势图表,作为第二结果。将图像的部分特征值,生成相应的图表,作为第三诊断结果,例如,细胞面积对应细胞数量的柱状图。将这些结果保存在数据库中,并且可以通过打印机进行打印。

对于第一结果、第二结果、第三结果输入经过训练的人工神经网络,能够得到植物、动物、人体的健康指标。其中,人工神经网络是利用大量结果对神经网络反复训练得到的。

以上所述,仅为本申请较佳的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应该以权利要求的保护范围为准。

完整详细技术资料下载
上一篇:石墨接头机器人自动装卡簧、装栓机
下一篇:组合的样品检查

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!