一种双相机联合标定方法、系统及装置

文档序号:9401 发布日期:2021-09-17 浏览:31次 英文

一种双相机联合标定方法、系统及装置

技术领域

本发明涉及相机标定领域,具体涉及一种双相机联合标定方法、系统及装置。

背景技术

在图像测量过程以及机器视觉应用中,为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系,必须建立相机成像的几何模型,这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到,这个求解参数的过程就称之为相机标定。无论是在图像测量或者机器视觉应用中,相机参数的标定都是非常关键的环节,其标定结果的精度及算法的稳定性直接影响相机工作产生结果的准确性。因此,做好相机标定是做好后续工作的前提,提高标定精度是科研工作的重点所在。

但是现有的相机标定方法大多比较复杂,且标定精度不够高,无法满足现有的应用需求。

发明内容

本发明所要解决的技术问题是提供一种双相机联合标定方法、系统及装置,标定过程简单且标定精度高。

本发明解决上述技术问题的技术方案如下:一种双相机联合标定方法,包括以下步骤,

S1,控制左、右两个相机同时拍摄标定板上的棋盘格图像,并根据左、右两个相机拍摄的棋盘格图像,建立棋盘格角点分别到左、右两个相机拍摄的棋盘格图像的像素坐标系的关系以及左、右两个相机之间的位置关系;其中,左相机为内参已知的标准相机;

S2,基于标定板坐标系的z方向,将棋盘格角点到左相机拍摄的棋盘格图像的像素坐标系的关系进行齐次变换,并根据左相机已知的内参以及齐次变换后的棋盘格角点到左相机拍摄的棋盘格图像的像素坐标系的关系,求解出左相机的外参;

S3,根据棋盘格角点到右相机拍摄的棋盘格图像的像素坐标系的关系、左相机的外参以及左、右两个相机之间的位置关系,对右相机的内参进行联合优化,得到右相机的内参的最优解;

S4,基于左、右两个相机之间的位置关系,根据左相机的内参与外参,计算出右相机的外参。

基于上述一种双相机联合标定方法,本发明还提供一种双相机联合标定系统。

一种双相机联合标定系统,包括支架、左相机、右相机、带有棋盘格的标定板以及联合标定子系统;

所述左相机为内参已知的标准相机,所述左相机和所述右相机分别固定在所述支架的左、右两侧,所述标定板固定放置在所述左相机和所述右相机的视野范围内的任一点上;

所述联合标定子系统包括关系建立模块、左相机外参标定模块、右相机内参标定模块和右相机外参标定模块;

所述关系建立模块,其用于控制左、右两个相机同时拍摄标定板上的棋盘格图像,并根据左、右两个相机拍摄的棋盘格图像,建立棋盘格角点分别到左、右两个相机拍摄的棋盘格图像的像素坐标系的关系以及左、右两个相机之间的位置关系;

所述左相机外参标定模块,其用于基于标定板坐标系的z方向,将棋盘格角点到左相机拍摄的棋盘格图像的像素坐标系的关系进行齐次变换,并根据左相机已知的内参以及齐次变换后的棋盘格角点到左相机拍摄的棋盘格图像的像素坐标系的关系,求解出左相机的外参;

所述右相机内参标定模块,其用于根据棋盘格角点到右相机拍摄的棋盘格图像的像素坐标系的关系、左相机的外参以及左、右两个相机之间的位置关系,对右相机的内参进行联合优化,得到右相机的内参的最优解;

所述右相机外参标定模块,其用于基于左、右两个相机之间的位置关系,根据左相机的外参,计算出右相机的外参。

基于上述一种双相机联合标定方法,本发明还提供一种双相机联合标定装置。

一种双相机联合标定装置,包括处理器、存储器以及存储在所述存储器内的计算机程序,所述计算机程序被所述处理器执行时实现如上述所述的双相机联合标定方法。

本发明的有益效果是:本发明一种双相机联合标定方法、系统及装置采用一个内参已知的标准的左相机对待标定的右相机进行标定,标定方法简单,且在标定的过程中对右相机的内参进行联合优化,得到的右相机的内参的最优解,提高标定精度。

附图说明

图1为本发明一种双相机联合标定方法的流程图;

图2为本发明一种双相机联合标定系统中标定结构示意图;

图3为本发明一种双相机联合标定系统中联合标定子系统的结构框图。

附图中,各标号所代表的部件列表如下:

1、左相机,2、右相机,3、标定板。

具体实施方式

以下结合附图对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。

如图1所示,一种双相机联合标定方法,包括以下步骤,

S1,控制左、右两个相机同时拍摄标定板上的棋盘格图像,并根据左、右两个相机拍摄的棋盘格图像,建立棋盘格角点分别到左、右两个相机拍摄的棋盘格图像的像素坐标系的关系以及左、右两个相机之间的位置关系;其中,左相机为内参已知的标准相机。

棋盘格角点到左相机拍摄的棋盘格图像的像素坐标系的关系为,

棋盘格角点到右相机拍摄的棋盘格图像的像素坐标系的关系为,

左、右两个相机之间的位置关系为,

其中:

Pw为棋盘格角点在标定板坐标系内的坐标向量,且Pw=[xw,yw,zw]T,xw为棋盘格角点在标定板坐标系内x方向上的分量,yw为棋盘格角点在标定板坐标系内y方向上的分量,zw为棋盘格角点在标定板坐标系内z方向上的分量;

为棋盘格角点在左相机拍摄的棋盘格图像的像素坐标系内的坐标向量,且为棋盘格角点在左相机坐标系内z方向上的分量,为棋盘格角点在左相机拍摄的棋盘格图像的像素坐标系内u方向上的分量,为棋盘格角点在左相机拍摄的棋盘格图像的像素坐标系内v方向上的分量;

MsI为左相机的内参相关矩阵,且u0s、v0s、αs和βs均为左相机的已知的内参;

MsE为左相机的外参矩阵,且Rs和ts均为左相机的外参,具体的,Rs为3×3的旋转矩阵,ts为3×1的平移向量;

为棋盘格角点在右相机拍摄的棋盘格图像的像素坐标系内的坐标向量,且 为棋盘格角点在右相机坐标系内z方向上的分量,为棋盘格角点在右相机拍摄的棋盘格图像的像素坐标系内u方向上的分量,为棋盘格角点在右相机拍摄的棋盘格图像的像素坐标系内v方向上的分量;

MbI为右相机的内参相关矩阵,且u0b、v0b、αb和βb均为右相机的内参;

MbE为右相机的外参矩阵,且Rb和tb均为右相机的外参,具体的,Rb为3×3的旋转矩阵,tb为3×1的平移向量。

Tb为右相机的位置矩阵,且Ts为左相机的位置矩阵,且T为左、右两个相机之间的位置关系矩阵,且R和t均为左、右两个相机之间的外参。

S2,基于标定板坐标系的z方向,将棋盘格角点到左相机拍摄的棋盘格图像的像素坐标系的关系进行齐次变换,并根据左相机已知的内参以及齐次变换后的棋盘格角点到左相机拍摄的棋盘格图像的像素坐标系的关系,求解出左相机的外参。

所述S2具体为,

S21,令棋盘格角点在标定板坐标系内z方向上的分量zw=0,并将棋盘格角点到左相机拍摄的棋盘格图像的像素坐标系的关系进行齐次变换(即将式(1)变换为成齐次形式),得到齐次变换关系,所述齐次变换关系具体为,

其中,H为本征矩阵,且

h1、h2和h3为本征矩阵H的三个列向量,根据式(4)可以求得3×3的本征矩阵H,再根据H=[h1 h2 h3]可求出本征矩阵H的3个列向量h1、h2、h3

r1和r2为左相机的外参Rs的前两列的列向量,λ为待估计参数;

S22,根据本征矩阵H以及左相机的内参,计算出左相机的外参Rs和ts

由于左相机的内参已知,故左相机的内参矩阵已知,在式(5)中,r1和r2为左相机的外参Rs的前两列的列向量,即Rs=[r1 r2 r3],根据式(5)可求出:

r3=r1×r2, (9)

Rs=[r1 r2 r3]; (11)

其中,为待估计参数λ的估计值。

S3,根据棋盘格角点到右相机拍摄的棋盘格图像的像素坐标系的关系、左相机的外参以及左、右两个相机之间的位置关系,对右相机的内参进行联合优化,得到右相机的内参的最优解。

所述S3具体为,

S31,将左、右两个相机之间的位置关系代入棋盘格角点到右相机拍摄的棋盘格图像的像素坐标系的关系中,并基于左相机的外参Rs和ts对棋盘格角点到右相机拍摄的棋盘格图像的像素坐标系的关系进行变换,得到棋盘格角点到右相机拍摄的棋盘格图像的像素坐标系的变换关系;

即将式(3)代入式(2),并基于式(10)和式(11)可得棋盘格角点到右相机拍摄的棋盘格图像的像素坐标系的变换关系;

棋盘格角点到右相机拍摄的棋盘格图像的像素坐标系的变换关系为,

其中,x′w为棋盘格角点由标定板坐标系变换至左相机坐标系时在x方向上的变换分量,y′w为棋盘格角点由标定板坐标系变换至左相机坐标系时在y方向上的变换分量,z′w为棋盘格角点由标定板坐标系变换至左相机坐标系时在z方向上的变换分量;

S32,根据棋盘格角点到右相机拍摄的棋盘格图像的像素坐标系的变换关系,推演出棋盘格角点由左相机坐标系变换至右相机坐标系的变换方程,且所述变换方程为,

其中,P为棋盘格角点,x″w为棋盘格角点由左相机坐标系变换至右相机坐标系时在x方向上的变换分量,y″w为棋盘格角点由左相机坐标系变换至右相机坐标系时在y方向上的变换分量,z″w为棋盘格角点由左相机坐标系变换至右相机坐标系时在z方向上的变换分量;

S33,对所述变换方程进行归一化处理,得到半径为r圆的轨迹,且该半径为r圆的轨迹为,

r2=x2+y2; (15)

其中:

x=x″w/z″w,y=y″w/z″w, (16)

x为该半径为r圆的轨迹在右相机坐标系的x方向上的分量,y为该半径为r圆的轨迹在右相机坐标系的y方向上的分量;

S34,将该半径为r圆的轨迹在笛卡尔空间内进行Brown畸变,得到Brown畸变模型,所述Brown畸变模型为,

xc=x(1+k1r2+k2r4+k3r6)+2p1xy+p2(r2+2x2), (17)

yc=y(1+k1r2+k2r4+k3r6)+2p2xy+p1(r2+2y2); (18)

其中,k1、k2、k3为径向畸变系数,p1和p2为切向畸变系数,记畸变系数d=(k1 k2 k3p1 p2)T;xc为Brown畸变模型在笛卡尔空间的x方向上的分量,yc为Brown畸变模型在笛卡尔空间的y方向上的分量;

S35,基于小孔成像原理,将所述Brown畸变模型投影到右相机拍摄的棋盘格图像的像素平面中,得到棋盘格角点在右相机拍摄的棋盘格图像的像素平面内的投影坐标,且棋盘格角点在右相机拍摄的棋盘格图像的像素平面内的投影坐标表达式为,

其中,为棋盘格角点在右相机拍摄的棋盘格图像的像素坐标系内u方向上的投影分量,为棋盘格角点在右相机拍摄的棋盘格图像的像素坐标系内v方向上的投影分量;

S36,根据右相机的内参、畸变系数d以及左、右两个相机之间的外参R和t,对棋盘格角点在右相机拍摄的棋盘格图像的像素坐标以及像素平面内的投影坐标进行联合优化,使棋盘格角点在右相机拍摄的棋盘格图像的像素坐标与像素平面内的投影坐标之间的误差最小,取棋盘格角点在右相机拍摄的棋盘格图像的像素平面内的像素坐标与投影坐标之间误差最小时的右相机的内参作为右相机的内参的最优解;

对棋盘格角点在右相机拍摄的棋盘格图像的像素坐标以及像素平面内的投影坐标进行联合优化的公式为,

其中,右边相机的内参矩阵记a=(αb βb u0b v0b)T

S4,基于左、右两个相机之间的位置关系,根据左相机的外参,计算出右相机的外参。

由于左相机的外参已知,则根据式(3)可以直接求出右相机的外参。

需要说明的是,在本发明中,右相机可以是内参已知的标准相机,左相机为待标定的相机;本发明中的左和右,并不代表对位置的限定。

基于上述一种双相机联合标定方法,本发明还提供一种双相机联合标定系统。

如图2所示,一种双相机联合标定系统,包括支架、左相机1、右相机2、带有棋盘格的标定板3以及联合标定子系统;

所述左相机1为内参已知的标准相机,所述左相机1和所述右相机2分别固定在所述支架的左、右两侧,所述标定板3固定放置在所述左相机1和所述右相机2的视野范围内的任一点上;

如图3所示,所述联合标定子系统包括关系建立模块、左相机外参标定模块、右相机内参标定模块和右相机外参标定模块;

所述关系建立模块,其用于控制左、右两个相机同时拍摄标定板上的棋盘格图像,并根据左、右两个相机拍摄的棋盘格图像,建立棋盘格角点分别到左、右两个相机拍摄的棋盘格图像的像素坐标系的关系以及左、右两个相机之间的位置关系;

所述左相机外参标定模块,其用于基于标定板坐标系的z方向,将棋盘格角点到左相机拍摄的棋盘格图像的像素坐标系的关系进行齐次变换,并根据左相机已知的内参以及齐次变换后的棋盘格角点到左相机拍摄的棋盘格图像的像素坐标系的关系,求解出左相机的外参;

所述右相机内参标定模块,其用于根据棋盘格角点到右相机拍摄的棋盘格图像的像素坐标系的关系、左相机的外参以及左、右两个相机之间的位置关系,对右相机的内参进行联合优化,得到右相机的内参的最优解;

所述右相机外参标定模块,其用于基于左、右两个相机之间的位置关系,根据左相机的外参,计算出右相机的外参。

另外,关系建立模块、左相机外参标定模块、右相机内参标定模块和右相机外参标定模块的具体功能参见一种双相机联合标定方法中对应步骤的技术特征。

基于上述一种双相机联合标定方法,本发明还提供一种双相机联合标定装置。

一种双相机联合标定装置,包括处理器、存储器以及存储在所述存储器内的计算机程序,所述计算机程序被所述处理器执行时实现如上述所述的双相机联合标定方法。

本发明一种双相机联合标定方法、系统及装置采用一个内参已知的标准的左相机对待标定的右相机进行标定,标定方法简单,且在标定的过程中对右相机的内参进行联合优化,得到的右相机的内参的最优解,提高标定精度。

以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

完整详细技术资料下载
上一篇:石墨接头机器人自动装卡簧、装栓机
下一篇:一种基于自动跟踪的机载光电系统目标地理定位方法

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!