一种智能叉取方法及系统
技术领域
本发明属于智能搬运领域，具体涉及一种智能叉取方法及系统。
背景技术
大型企业工厂的材料货物搬运是工业生产中的重要一环。物料的装卸搬运是制造业企业生产过程中的辅助环节,但它是工序之间、车间之间、工厂之间相互衔接不可缺少的环节。
传统的工业常使用手动叉车进行货物搬运，这样效率低、安全隐患大，存在着劳动效率低、安全隐患大等一系列问题。近几年来，针对当前智能制造的企业发展需求，以建设智慧化生产工厂为基础，物料搬运的研究方向已朝着计算机、自动识别机器人方向发展，使得物料搬运与运输的设计制造水平达到一个新高度。
叉取是货物搬运的一种常见方法，智能叉车在分拣速度、管理软件平台、出入库速度、管理效率和用户体验方面的巨大优势，智能搬运场景中对智能叉车的导入越来越多，智能化叉车无需人工驾驶，结合条码技术、无线局域网技术和数据采集技术，同时采用电磁感应、机器视觉、激光雷达等导航方式作为辅助 RFID 识别可运行于复杂路径、多站点可靠循迹，操作方便。智能叉车比较智能化、灵活化、柔性化，具有低成本、高效率、安全作业的基本特征。它可以满足企业的个性化需求定制，替代人工搬运或人工叉车，优势明显。
基于此，本发明以经济实用、适当超前为基本定位，基于人工智能、计算机控制、智能移动机器人、视觉伺服等相关产品和先进技术，设计一种智能机器人叉取方法，通过定位导航和图像识别，实现产品的稳定夹取装载、搬运、卸货入库的自动化过程，提高生产效率，降低安全事故概率。
发明内容
有鉴于此，本发明的目的之一在于提供一种智能叉取方法，该方法能全自动对待搬运物进行叉取，并搬运到目的点。
为实现上述目的，本发明的技术方案为：一种智能叉取方法，包括以下步骤：
使用摄像机采集工作区图片，进行特征提取，获得待搬运物的第一图像初始坐标、以及工作区中障碍物的第三初始图像坐标，并获取搬运终点的第二坐标；
获取叉爪的初始位置坐标，通过图像坐标到实际三维坐标的转换将所述第一图像初始坐标、第三初始图像坐标转换为第一初始坐标、第三初始坐标，规划叉爪到待搬运物的第一路径；
叉爪根据第一路径运行，并实时采集工作区第二图片、与叉爪实时位置坐标，由于机器人带着摄像机一起运动，所以摄像机坐标系与机器人的世界坐标系的相对关系总是变化的，而摄像机的刚性连接使与机器人叉爪之间的相对位置关系保持不变。因此，采用手眼标定的方法获得摄像机在机器人末端的安装位置，即摄像机坐标系和机器人叉爪法兰坐标系的变换关系，确定摄像机坐标与世界坐标系之间的相对位置关系，通过变换确定叉爪在机器人世界坐标系下的位姿。；
根据实时获取的第二图片进行特征提取，获得待搬运物的第一图像坐标，与搬运终点的第二图像坐标、以及工作区中障碍物的第三图像坐标；
将所述第一图像坐标、第二图像坐标、第三图像坐标分别转换为第一坐标、第二坐标、第三坐标，实时更新第一路径；
叉爪根据实时更新的第一路径到达待搬运物点进行叉取；
根据第二坐标与第三坐标实时规划到搬运终点的第二路径，按照第二路径完成搬运。
进一步地，所述图像坐标到实际三维坐标的转换具体包括以下步骤：
将图像坐标转换为笛卡尔坐标：
利用摄像机建立相机坐标系，将所述笛卡尔坐标转换为相机坐标：
将相机坐标转换为实际三维坐标：
其中，（u,v）为图像坐标，（x,y）为二维笛卡尔坐标，（x,y,z）为三维笛卡尔坐标，（u 0,v 0）图像坐标中的初始坐标，（xC,yC,zC）为相机坐标，（x w ,y w ,z w ）为点w的实际三维坐标系下的坐标，R矩阵为旋转矩阵，T矩阵为平移矩阵，f为摄像机的焦距。
进一步地，通过基于概率模型的SLAM优化方法进行路径规划，所述概率模型为：
其中，p(A k )为事件A k 的概率， p(B│A k ) 为事件A k 已发生条件下事件B的概率，p(A k │ B) 为事件B发生条件下事件A k 的概率，m为事件发生的所有可能数。
进一步地，所述摄像机为感光芯片为CCD和/或CMOS的工业相机。
进一步地，所述摄像机安装于叉爪上。
本发明的目的之二在于提供一种智能叉取系统，该系统可用于工厂自动搬运货物。
为实现上述目的，本发明的技术方案为：一种智能叉取系统，包括：
数据获取模块，用于使用摄像机实时采集工作区图片，进行特征提取，实时获得待搬运物的第一图像坐标、以及工作区中障碍物的第三图像坐标，同时实时采集叉爪与摄像机位置坐标，获取叉爪与摄像机的法兰坐标系的变换关系，并用于获取搬运终点的第二坐标；
坐标转换模块，与所述数据获取模块相连，用于通过图像坐标到实际三维坐标的转换将所述第一图像坐标、第三图像坐标转换为第一坐标、第三坐标；
路径规划模块，与所述坐标转换模块、所述数据获取模块相连，用于根据实时更新的第一坐标、第三坐标以及叉爪与摄像机的法兰坐标系的变换关系规划叉爪到待搬运物的第一路径，并用于在叉爪根据到达待搬运物点进行叉取后根据第三坐标、第二坐标以及叉爪与摄像机的法兰坐标系的变换关系规划从待搬运物到搬运终点的第二路径。
进一步地，所述坐标转换模块中图像坐标到实际三维坐标的转换具体包括以下步骤：
将图像坐标转换为笛卡尔坐标：
利用摄像机建立相机坐标系，将所述笛卡尔坐标转换为相机坐标：
将相机坐标转换为实际三维坐标：
其中，（u,v）为图像坐标，（x,y）为二维笛卡尔坐标，（x,y,z）为三维笛卡尔坐标，（u 0,v 0）图像坐标中的初始坐标，（xC,yC,zC）为相机坐标，（x w ,y w ,z w ）为点w的实际三维坐标系下的坐标，R矩阵为旋转矩阵，T矩阵为平移矩阵，f为摄像机的焦距。
进一步地，所述路径规划模块通过基于概率模型的SLAM优化方法进行路径规划，所述概率模型为：
其中，p(A k )为事件A k 的概率， p(B│A k ) 为事件A k 已发生条件下事件B的概率，p(A k │ B) 为事件B发生条件下事件A k 的概率，m为事件发生的所有可能数。
进一步地，所述摄像机为感光芯片为CCD和/或CMOS的工业相机。
进一步地，所述摄像机安装于叉爪上。
与现有技术相比，本发明具有如下优点：
本发明提供一种智能叉取方法及系统，可在工作区域内自由移动并能够实时避障，可运行于复杂路径、多站点可靠循迹，操作方便，同时实现对待搬运物的自动抓取，安全转移至暂存点，再放置至指定位置等要求。
附图说明
为更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍。下面描述中的附图是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它附图。
图1为本发明一种智能叉取系统结构图；
图2为本发明图像坐标到实际三维坐标的转换原理图；
图3为本发明叉爪与摄像机的法兰坐标系的变换关系过程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护范围。
所举实施例是为了更好地对本发明进行说明，并不是本发明的内容仅局限于所举实施例。所以熟悉本领域的技术人员根据上述发明内容对实施方案进行非本质的改进和调整，仍属于本发明的保护范围。
实施例1
参考图1，为本发明一种智能叉取系统结构图，该系统包括：数据获取模块1，用于使用摄像机实时采集工作区图片，进行特征提取，实时获得待搬运物的第一图像坐标、以及工作区中障碍物的第三图像坐标，同时实时采集叉爪与摄像机位置坐标，获取叉爪与摄像机的法兰坐标系的变换关系，并用于获取搬运终点的第二坐标；
本实施例中，摄像机采用感光芯片为CCD和/或CMOS的工业相机，摄像机安装于叉爪上。
坐标转换模块2，与数据获取模块相连1，用于通过图像坐标到实际三维坐标的转换将第一图像坐标、第三图像坐标转换为第一坐标、第三坐标；
本实施例中，图像坐标到实际三维坐标的转换具体包括以下步骤：
将图像坐标转换为笛卡尔坐标：
利用摄像机建立相机坐标系，将笛卡尔坐标转换为相机坐标：
将相机坐标转换为实际三维坐标：
其中，（u,v）为图像坐标，（x,y）为二维笛卡尔坐标，（x,y,z）为三维笛卡尔坐标，（u 0,v 0）图像坐标中的初始坐标，（xC,yC,zC）为相机坐标，（x w ,y w ,z w ）为点w的实际三维坐标系下的坐标，R矩阵为旋转矩阵，T矩阵为平移矩阵，f为摄像机的焦距。
路径规划模块3，与坐标转换模块2、数据获取模块1相连，用于根据实时更新的第一坐标、第三坐标以及叉爪与摄像机的法兰坐标系的变换关系规划叉爪到待搬运物的第一路径，并用于在叉爪根据到达待搬运物点进行叉取后根据第三坐标、第二坐标以及叉爪与摄像机的法兰坐标系的变换关系规划从待搬运物到搬运终点的第二路径。
进一步地，路径规划模块通过基于概率模型的SLAM优化方法进行路径规划，概率模型为：
其中，p(A k )为事件A k 的概率， p(B│A k ) 为事件A k 已发生条件下事件B的概率，p(A k │ B) 为事件B发生条件下事件A k 的概率，m为事件发生的所有可能数。
实施例2
基于实施例1的系统，本实施例中提供一种智能叉取方法，包括以下步骤：
S1：使用摄像机采集工作区图片，进行特征提取，获得待搬运物的第一图像初始坐标、以及工作区中障碍物的第三初始图像坐标，并获取搬运终点的第二坐标；
本实施例中，摄像机采用感光芯片为CCD和/或CMOS的工业相机，摄像机安装于叉爪上，叉爪可以为现在常用的机械叉爪。
S2：获取叉爪的初始位置坐标，通过图像坐标到实际三维坐标的转换将所述第一图像初始坐标、第三初始图像坐标转换为第一初始坐标、第三初始坐标，规划叉爪到待搬运物的第一路径；
本实施例中，通过摄像机采集现场工作场景图片，对图片进行特征提取，通过内部算法计算出工件坐标系的偏差量，然后将数据传送给机器人，这些数据将指导机器人建立新的工件坐标系，具体过程原理可参考图2：
图像坐标系（u,v）是定义在图像上的二维平面坐标系，在图像描述中主要是以像素为单位计算，也可以使用实际的物理长度为单位计算，即应用于笛卡尔坐标，如图2所示，图像坐标系（u,v）的初始坐标为（u 0,v 0），坐标轴方向如图所示；实际物理坐标系（x,y）的原点在图像物理尺寸的中心O点，相当于以像素单位的两轴最大值的中间值（u 0,v 0），坐标轴方向和像素坐标轴方向一致，而且笛卡尔坐标存在负值，则图像中任意一点的两坐标之间的变换关系如下所示：
上式可变换为齐次坐标矩阵来表达：
然后，可建立一个相机坐标系（X C ,Y C ,Z C ），该相机坐标系是以光学镜头的光心点O C 为坐标原点，其中坐标系的Z C 轴（镜头光轴）垂直于图像平面，并且经过图像坐标系的中心O点，相机坐标系的X C 、Y C 两轴分别平行于图像坐标系的x、y轴，外界点W在相机坐标系中的坐标值为（X C ,Y C ,Z C ），在图像坐标系中的投影点m的坐标值为（u m ,v m ）或（x m ,y m ），将笛卡尔坐标系下的点转换为相机坐标系下：
如图2所示点W在相机坐标系的坐标值为（X C ,Y C ,Z C ），其在图像的笛卡尔坐标系中映射点m的坐标为（x,y,z），根据几何关系得出公式：
其中f是工业相机的焦距，由相似三角形原理可知坐标值z=f,将上式表达成齐次矩阵方程式为：
实际三维坐标（X W ,Y W ,Z W ）是用户任意设置的一个基准坐标系，以毫米为单位，一般设置在方便描述物体位置和计算的位置，为了方便描述待搬运物的位姿参数，本实施例采用本系统将实际三维坐标选为机器人坐标系，同时减少两坐标系之间的变换计算。如图所示对点W的描述为（X W ,Y W ,Z W ），相机坐标系与实际三维坐标的变换为：在图中点W在实际三维坐标（X W ,Y W ,Z W ）下的坐标值为（x w ,y w ,z w ），将点W的实际三维坐标的坐标值转换到相机坐标系下坐标值（X C ,Y C ,Z C ），将坐标变换公式用齐次方程式描述，如下所示：
其中R矩阵为旋转矩阵，T矩阵为平移矩阵，其中R|T是3*4的矩阵。则由以上方程式可得到图像中任意已知点像素坐标得到对应的实际三维坐标值：
其中，z C 为常量，也是点W在相机坐标下的z C 轴坐标值，。
本实施例中，通过两个不同坐标系描述空间内任意一点的坐标值不同，将此点从一个坐标系的坐标值转换成另一个坐标系中来描述的映射关系成为坐标变换。
进一步地，本实施例中图像处理算法采用Canny算法得出待搬运物的边缘图像，应用Hough变换算法检测得出待搬运物的姿态，并用Hu矩算法检测出得出待搬运物的重心位置坐标，由于外界环境对拍摄图像的影响，将对传统的Canny算法进行自适应边缘检测的改进，实现在变化环境中也能实时的对获取图片处理出较好的边缘图像，最终将图像处理出的得出待搬运物的图像位姿参数，经图像坐标系到实际三维坐标系的坐标变换得到容器在机器人坐标系下实际位姿参数，为搬运机器人实现智能搬运提供反馈，根据同一个坐标系下的第一坐标、第三坐标，规划一个避障的初始第一路径；
进一步，SLAM技术则是同步定位与地图构建，本实施例中通过基于概率模型的SLAM优化方法进行路径规划，概率模型为：
其中，p(A k )为事件A k 的概率， p(B│A k ) 为事件A k 已发生条件下事件B的概率，p(A k │ B) 为事件B发生条件下事件A k 的概率，m为事件发生的所有可能数。
S3：叉爪根据第一路径运行，并实时采集工作区第二图片、与叉爪实时位置坐标，并获取叉爪与摄像机的法兰坐标系的变换关系；
在实际运用中，由于机器人叉爪带着摄像机一起运动，所以摄像机坐标系与机器人的实际三维坐标系的相对关系总是变化的，而摄像机的刚性连接使与机器人执行机构之间的相对位置关系保持不变。因此，本步骤的目的是获得摄像机在机器人末端的安装位置，即摄像机坐标系和机器人末端法兰坐标系的变换关系，摄像机坐标系与机器人实际三维坐标的不同位姿关系可以通过机器人末端法兰坐标系当前位姿状态和上述表型结果求得，一般采用的标定方法如下：调节机器人使摄像机处于不同位姿拍摄同一靶标，根据机器人的位姿和摄像机相对于靶标的外参数获得摄像机相对于机器人末端的变换参数。
具体地，本步骤中引用四个坐标系，分别是基础坐标系，叉爪坐标系，相机坐标系，以及标定物坐标系，如图3所示。
其中，baseHcal表示基础坐标系到标定物坐标系的转化关系，包括旋转矩阵和平移向量；camHtool表示相机坐标系到叉爪坐标系的转化关系；这两个转化关系在叉爪移动过程中是不变的；camHcal可以由相机标定求出；baseHtool可以由机器人系统中得出。
接下来控制叉爪从位置 1 移动到位置 2：
base = baseHtool （1）* tool（1）
tool（1） = inv（camHtool）*cam（1）
cam（1） = camHcal（1）*obj
联合上面三个公式：
base = baseHtool （1）* inv（camHtool）* camHcal（1）*obj
移动到叉爪到位置2后：
base = baseHtool （2）* inv（camHtool）* camHcal（2）*obj
因为base和obj是固定的，所以：
baseHtool （1）* inv（camHtool）* camHcal（1）=baseHtool （2）* inv（camHtool）* camHcal（2）
其中camHcal可通过相机标定获取外参得到， baseHtool是已知的，一般机器人上可以读出，未知的是camHtool，通过手眼示教多组相机位置不同数据，可以调用opencv的cvsolve解多组线性超定方程组，求解camHtool矩阵。
S4：根据实时获取的第二图片进行特征提取，获得待搬运物的第一图像坐标，与搬运终点的第二图像坐标、以及工作区中障碍物的第三图像坐标；
在实际搬运过程中，由于叉爪、摄像头的位置一直在变，得到的图片信息也不同，因此，实时更新获得图片，提取不同的障碍物图像坐标与待搬运物坐标；
S5：将第一图像坐标、第二图像坐标、第三图像坐标分别转换为第一坐标、第二坐标、第三坐标，实时更新第一路径；
本步骤中，可参考步骤S2、S3中的步骤，将不同坐标系转换为同一个坐标系下，根据实时更新的第一坐标、第三坐标以及叉爪与摄像机的法兰坐标系的变换关系规划叉爪到待搬运物的第一路径；
S6：叉爪根据实时更新的第一路径到达待搬运物点进行叉取；
S7：根据第二坐标与第三坐标实时规划到搬运终点的第二路径，按照第二路径完成搬运。
在步骤S6中完成对待搬运物的叉取后，需要将带搬运物搬运至目的点，因此重新重复步骤S2、S3，根据第三坐标、第二坐标以及叉爪与摄像机的法兰坐标系的变换关系规划从待搬运物到搬运终点的第二路径，完成搬运。
优选地，在搬运完成后，叉爪还可通过相同的步骤移动到叉爪指定空闲位置。
上面结合附图对本发明的实施例进行了描述，但本发明并不局限于上述具体实施方式，上述实施方式仅是示意性的，不是限制性的，本领域的技术人员在本发明的启示、不脱离本发明宗旨和权利要求保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。
- 上一篇：石墨接头机器人自动装卡簧、装栓机
- 下一篇：导管管端高精度检测定位方法
