一种多目复合单细胞微操作系统及控制方法
技术领域
本发明涉及自动显微注射领域，具体涉及一种多目复合单细胞微操作系统及控制方法。
背景技术
细胞显微注射是生物工程中最基础、最常用的技术。这项技术可以简单总结为使用直径为10微米左右的玻璃毛细针穿过细胞膜，向细胞内直接注入外源物质。其主要特点有：1)对细胞的伤害小；2)外源物质注入量可控；3)用途广泛，包括细胞浆内注射受精和药物验证等。现有的细胞注射平台多以一般的生物显微镜为基础，包含两个三自由度操作器，可分别控制细胞的吸附和注射用的毛细针。除此之外，使用专门设计的细胞放置器皿以取代吸附用的毛细针、只安装一个操作器的细胞微注射平台也非常受欢迎。
但细胞微注射平台的自动化需要解决一个长久以来就存在于该项技术中的难题。生物显微镜作为基础只能提供一个视角，因此操作者(或计算机)基本无法从其他角度观察两边毛细针之间的对准情况。两根毛细针之间不能有效对准，其后果便是毛细针在细胞的表面滑开，或是毛细针与细胞以错误的角度接触，使细胞脱离吸附针。这个困境可以总结为单目显微视觉所带来的约束不足，无法求解毛细针的深度信息，从而导致了针与针之间、针与细胞之间的相对位置的错误估计。针对双操作器的系统，常用的方法是利用生物显微镜景深小的特点，以毛细针的聚焦程度来确认两侧毛细针的相对深度。这种方法的缺点是显微镜的景深直接变成了深度的误差区间。而针对有专用放置器皿的系统有类似于间接测量的处理方法：1)控制系统先将针沿相机光轴的方向移动，直到针尖触碰到培养皿底部并发生形变；2)发生形变的瞬间，针尖在图像中沿针尖轴线“向前”移动，控制系统可通过观测针尖形变的时机，确定当前的位置是运动控制的参考深度；3)此时控制系统记录操作器中配套的位置反馈，记为参考位置；4)操作器操控毛细针进行空间运动时，控制系统读取任意时刻操作器的反馈信息，与参考位置比对，比对结果可被认为是针尖点当前的位置(包含深度)。这种方法的最大缺点是会造成针尖的物理损伤。而以上的两个方法都只能得出点与点之间的相对深度，无法实际解决毛细针的姿态调整问题。为了完整解决毛细针的对准问题，有必要提出一个具有多目视觉、有三自由度以上的操作器的细胞微注射系统。
发明内容
为了克服现有技术存在的缺点与不足，本发明提供一种多目复合单细胞微操作系统及控制方法，本发明采用双目远心视觉完成毛细针的姿态控制和采用单目倒置显微视觉完成毛细针尖点的精确导航，该系统能够完整还原工作空间内各空间特征的深度信息的前提下，提升毛细针定位和对准的效果，从而实现细胞微注射的自动化。
本发明采用如下技术方案：
一种多目复合单细胞微操作系统，包括：
二自由度操作平台：用于放置培养皿；
三自由度操作器：用于安装吸附或注射用的毛细针，设置在二自由度操作平台的一侧；
五自由度操作器：用于安装吸附或注射用的毛细针，设置在二自由度操作平台的另一侧；
远心双目相机：用于获得三自由度操作器及五自由度操作器毛细针针尖图像；
倒置显微相机：用于获得毛细针和培养皿内细胞的图像；
上位计算机：用于获取毛细针针尖图像及毛细针和培养皿内细胞的图像，并进行处理后得到控制量，分别驱动二自由度操作平台、三自由度操作器及五自由度操作器完成细胞注射操作。
进一步，所述五自由度操作器包括一个三自由度平动微动台及两个旋转关节。
进一步，还包括LED光源，用于提供远心双目相机的光照。
进一步，倒置显微相机的光照使用光源和聚光镜提供。
一种基于多目复合单细胞微操作系统的控制方法，包括如下步骤：
在二自由度操作平台上放置培养皿，吸附用的毛细针安装于三自由度操作器上，注射用的毛细针安装在五自由度操作器上；
通过手动调整使得两个操作器的毛细针针尖在双目远心相机的视场内，双目远心相机拍摄毛细针针尖图像，输入上位计算机，完成两侧毛细针的对准；
使用倒置显微相机拍摄毛细针和细胞的图像，输入上位计算机，获取毛细针和细胞之间的相对位姿，操控三自由度操作器，使得吸附毛细针接近细胞、吸附细胞，并将吸附细胞移动到注射位置；
使用倒置显微相机拍摄毛细针和细胞的图像，获取毛细针和细胞注入点在图像上的相对位置，使用上位计算机控制五自由度操作器运动毛细针完成细胞注射。
进一步，所述在二自由度操作平台上放置培养皿，吸附用的毛细针安装于三自由度操作器上，注射用的毛细针安装在五自由度操作器上之后，还包括标定步骤，使得远心双目相机和倒置显微相机使用相同的参考坐标系，与所述基于远心双目视觉和倒置显微视觉的细胞注射系统在工作过程中的所有运动的参考坐标系相同。
进一步，所述通过手动调整使得两个操作器的毛细针针尖在双目远心相机的视场内，双目圆心相机拍摄毛细针针尖图像，输入上位计算机，完成两侧毛细针的对准，具体为：
远心双目相机拍摄两侧毛细针的图像，上位计算机对图像进行处理，提取毛细针的图像特征；
上位计算机通过图像特征得到两侧毛细针轴线和针尖点的相对位姿，进一步将相对位姿转变为三自由度操作器和五自由度操作器的运动参数，向对应操作器发送运动指令，使毛细针产生空间运动，直到两侧毛细针的轴线对准为止，形成基于姿态的视觉伺服控制。
进一步，上位计算机对倒置显微相机拍摄的图像进行处理，具体为：
对图像进行处理，所述处理包括阈值分割及边缘检测，进一步确定细胞注射药物的合适部位；
在毛细针吸附细胞的过程中，识别细胞与毛细针接触位置之间的空隙，提供针尖下一步运动的位移量，毛细针针尖与细胞表面贴合后，根据细胞表面轮廓的变形程度判断吸附紧密程度。
进一步，所述远心相机由相机和远心镜头构成。
进一步，所述合适部位具体是确保毛细针能够插入细胞器且不破坏细胞。
本发明的有益效果：
1)本发明采用双目远心视觉对毛细针进行空间姿态识别以及针尖点的定位。远心相机属于仿射相机的一种，在相机景深内可克服“远小近大”的现象，更加有利于进行测量。本发明中使用的远心相机相较于一般显微镜有更大的视场和景深，即使针尖发生小范围的旋转或平移，远心相机依然可以准确观测。
2)本发明采取基于姿态和基于图像的混合视觉伺服控制方法，分别用于毛细针的对准和细胞穿刺过程中毛细针的移动。这种控制形式可以充分利用双目远心视觉和倒置显微视觉的优点，并解决一般细胞注射平台缺少深度信息的缺陷。
附图说明
图1是本发明的结构示意图。
具体实施方式
下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。
实施例
如图1所示，一种多目复合单细胞微操作系统，具体是基于远心双目视觉和倒置单目显微视觉的微操作系统，主要包括二自由度操作平台104、三自由度操作器102、五自由度操作器105、远心双目相机106、倒置显微相机103及上位计算机101。所述上位计算机分别与三自由度操作器、五自由度操作器、远心双目相机106及倒置显微相机103连接。
所述二自由度操作平台：固定在支承结构上，用于放置、移动培养皿，所述培养皿用于装载作为操作对象的细胞。
所述三自由度操作器：用于安装吸附或注射用的毛细针，设置在二自由度操作平台的一侧；本实施例中安装吸附毛细针。
所述五自由度操作器：用于安装吸附或注射用的毛细针，设置在二自由度操作平台的另一侧，本实施例中安装注射毛细针。
所述远心双目相机固定在支承结构上，用于拍摄毛细针针尖的姿态照片，通过电缆和图像采集卡传输到上位计算机，工作期间的光照由LED光源提供。
所述倒置显微相机用于拍摄细胞和毛细针针尖的图片，通过电缆和图像采集卡传输到上位计算机，工作器件的光照由所述倒置显微镜用光源和聚光镜提供。
本实施例中，远心双目相机包括两个AVT生产的1394相机和Moritex生产的远心镜头。
本实施例中的倒置显微相机包括Basler生产的Cameralink相机、镜筒与一个平场、长工作距离消色差生物显微物镜。
进一步，所述五自由度操作器包含一个三自由度平动微动台及两个旋转关节；所述的五自由度操作器可以接收来自所述上位计算机的指令，使所述三自由度平动微动台和两个旋转关节产生运动，完成对毛细针针尖的姿态及位置控制；所述五自由度操作器具有三个平动自由度的手调宏动功能，宏动自由度不可经上位计算机控制。所述三自由度操作器可接收来自所述上位计算机的指令，产生运动，完成对毛细针针尖的位置控制。所述两个操作器安装在两自由度平动平台的两侧。
系统搭建后的结构如图1所示，双目远心相机大致成90度角，与倒置显微相机分别位于细胞操作空间(细胞培养皿放置处)的上下两侧，安装吸附用毛细针的三自由度操作器和安装注射用毛细针的五自由度操作器分别位于细胞操作空间的左右两侧，并保证两个毛细针的轴线能够对齐。相机、操作器和毛细针的安装位置必须保证控制操作器运动的过程中毛细针能够同时出现在三个相机的大部分视野中。
图1中省略了上位计算机101与三自由度操作平台102、倒置显微相机103、二自由度操作平台104、五自由度操作平台105和双目远心相机系统106之间的线缆连接。此外，视觉系统常需配置的光源也予以省略。
本实施例中，通过双目远心相机拍摄的图像提取毛细针空间特征的深度信息，完成毛细针的姿态和位置提取；所述上位计算机通过倒置显微相机获得毛细针针尖点与操作对象的细胞的指定点在图像上的相对位置；所述上位计算机通过计算所述毛细针的姿态、位置，计算所述毛细针需要完成的空间运动，完成毛细针的对准和细胞的注射，包括步骤：
1)使用标定板对远心双目相机和倒置显微相机进行标定；
2)在二自由度操作平台上放置培养皿，吸附用的毛细针安装于三自由度操作器上，注射用的毛细针安装在五自由度操作器上；
3)安装完毕后通过手动调整使毛细针的针尖同时出现在双目远心相机的两个视场内；
4)使用远心双目相机拍摄毛细针针尖图像，并用上位机计算机还原毛细针姿态，完成两侧毛细针的对准；
5)使用远心双目相机拍摄毛细针和培养皿内的细胞，并用上位计算机还原毛细针和细胞之间的相对位姿，操控毛细针接近细胞、吸附细胞，并将细胞移动到注射位置；
6)使用倒置显微相机拍摄毛细针和细胞的图像，获取毛细针和细胞注入点在图像上的相对位置，使用上位计算机控制毛细针完成细胞注射；
进一步，上述步骤(1)，具体操作过程为：
11)使用远心双目相机的两个视场分别拍下不同姿态、位置的标定板的图像；
12)放置标定板到二自由度平动平台上，使标定板的坐标系与所述系统的参考坐标系重合；
13)使用远心双目相机拍摄标定板的照片，经上位计算机对该步骤中得到的图像进行处理，提取控制点，完成远心双目相机标定，获得远心双目相机的内部参数及外部参数；
14)保持标定板静止，使用倒置显微相机拍摄标定板的图像，经上位计算机对图像进行处理，完成倒置显微相机的标定，获得倒置显微相机的内部参数和外部参数，并求解得远心双目相机、倒置显微相机和参考坐标系之间的相对位姿；
15)标定结果保存到上位计算机中。
进一步，在操控毛细针完成对准的过程中，双目远心相机会一直保持拍摄，上位计算机持续通过双目远心相机拍摄的图像进行毛细针姿态的提取，并计算所述操作器的运动参数。所述步骤4)包括：
41)使用远心双目相机拍摄两侧毛细针的图像，上位计算机对图像进行处理，提取毛细针的图像特征；
42)上位计算机使用远心双目相机的内部参数、外部参数及步骤41)得到的图像特征还原出两侧毛细针轴线和针尖点的相对位姿；
43)上位计算机将得到的相对位姿转变为三自由度操作器和五自由度操作器的运动参数，以此向操作器发送运动指令，使毛细针产生空间运动；
44)重复步骤41)至步骤43)直到两侧毛细针的轴线对准为止，形成基于姿态的视觉伺服控制。
上位计算机获取倒置显微相机及双目远心相机的图像后，进行图像处理，所述图像处理包括：基于边缘检测或阈值处理等方法进行图像分割，分离并分别提取图像特征，得到细胞和毛细针。
所述图像特征包括ORB特征、SIFT特征或边缘特征等，与目标图像进行特征匹配，计算它们之间的误差，为视觉伺服提供信息。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
- 上一篇：石墨接头机器人自动装卡簧、装栓机
- 下一篇：一种生物样品在线实时检测系统及方法
