一种adas单目相机的标定方法
技术领域
本发明涉及ADAS单目相机标定领域，具体为一种ADAS单目相机的标定方法。
背景技术
在高级驾驶辅助系统(Advanced Driver Assistant Systems，ADAS)中，单目相机通常是最主要的图像采集设备。基于图像的测距技术应用广泛，准确的距离信息能增强驾驶辅助系统的功能和可靠性，保障驾驶安全。
在实现单目相机的ADAS应用之前，需要对单目相机进行标定，标定的方法和准确性直接影响测距结果。由于传统ADAS单目相机的标定往往存在成本高、准确性较差或操作复杂等问题，尤其在车辆后装市场上难以推广，导致单目ADAS单目相机的应用受限。
发明内容
本发明的目的在于提供一种操作简单、准确度高的ADAS单目相机的标定方法。
本发明所述的ADAS单目相机的标定方法，包括：
在地面标定板的参考点上建立世界坐标系，计算出安装在车辆上单目相机的外参数，并优化单目相机的内外参数；
由已经优化好的单目相机内外参数，通过世界坐标系与单目相机坐标系的转换关系，计算单目相机光学点相对于标定板上世界坐标系原点的坐标值；
根据单目相机光学点相对于标定板上世界坐标系原点的坐标值，将标定板上世界坐标系原点平移至单目相机光学点的正下方，作为单目相机光学点新的世界坐标系原点，重新计算此时单目相机的位姿，即完成当前单目相机的标定。
本发明所述的ADAS单目相机的标定方法，通过在地面标定板的参考点上建立世界坐标系，计算出安装在车辆上单目相机的外参数，并优化单目相机的内外参数，由已经优化好的单目相机内外参数，通过世界坐标系与单目相机坐标系的转换关系，计算单目相机光学点相对于标定板上世界坐标系原点的坐标值，根据单目相机光学点相对于标定板上世界坐标系原点的坐标值，将标定板上世界坐标系原点平移至单目相机光学点的正下方，作为单目相机光学点新的世界坐标系原点，重新计算该世界坐标系下的相机位姿,该单目相机的标定过程中无需人工建立固定的世界坐标系，对标定场景没有特别要求，配置灵活，标定简便快捷，且标定过程中无需人工操作标定工具、测量各标定物或参考点的距离和位置，从而减少了人工劳动成本，和人工参与可能造成的误差，进而提升了单目相机标定的精度，和节约了单目相机标定的成本。
还包括,若平移后的世界坐标系的Y轴方向与单目相机光轴在地面正投影的方向不一致，则将平移后的世界坐标系的坐标轴整体进行旋转，使其Y轴方向与单目相机光轴在地面正投影的方向一致；若平移后的世界坐标系的Y轴方向与单目相机光轴在地面正投影的方向一致，则保持不变。
平移后的世界坐标系的Y轴方向与单目相机光轴在地面正投影的方向不一致，则将平移后的世界坐标系的坐标轴整体进行旋转，使其Y轴方向与单目相机光轴在地面正投影的方向一致，若平移后的世界坐标系的Y轴方向与单目相机光轴在地面正投影的方向一致，则保持不变，包括：
通过单目相机内参矩阵和单目相机光学点的相机坐标，求得单目相机光学点在成像图片上的像素坐标；
由当前单目相机内外参数，将平移后的世界坐标系的Y轴上的若干点投影到成像图片上，并形成一条直线；
若单目相机光学点在成像图片上的像素坐标在直线左侧，则将平移后的世界坐标系绕自身轴逆时针旋转，使单目相机光学点的Y轴则与平移后的世界坐标系的Y轴方向一致；
若单目相机光学点在成像图片上的像素坐标在直线右侧，则将平移后的世界坐标系绕自身轴顺时针旋转，使单目相机光学点的Y轴则与平移后的世界坐标系的Y轴方向一致；
若单目相机光学点在成像图片上的像素坐标在直线上，单目相机光学点的Y轴则与平移后的世界坐标系的Y轴方向一致，平移后的世界坐标系保持不变。
将世界坐标系自动建立在单目相机的正下方，并且单目相机光轴方向在地面上的正投影的方向与平移后的世界坐标系Y轴方向一致。其建立过程是完全自动的，没有复杂的人工干预，操作简单，在该世界坐标系下，对目标的像素坐标和实际坐标进行相互转换，可实现测距、定位等功能。
在地面标定板的参考点上建立世界坐标系，计算出安装在车辆上单目相机的外参数，包括以下步骤：
若已知单目相机的准确内参数，则在单目摄像头可视范围内的地面铺设至少一块标定板，否则铺设至少两块标定板；
以每一块标定板上的任一参考点作为世界坐标系原点，分别建立世界坐标系；
获取各标定板上的其他参考点相对于该标定板世界坐标系原点的坐标；
通过单目相机摄取一张含有所有标定板的图片，并在图片中提取标定板对应的各参考点的像素坐标；
通过世界坐标系到像素坐标系的转换关系，利用初始的单目相机内参数计算单目相机对于各标定板的位姿；
利用单目相机对于每个标定板的位姿，将各标定板参考点的世界坐标，统一到一块标定板上的世界坐标系上，计算出各标定板上的参考点相对于该世界坐标系原点的坐标，以获得单目相机相对于该标定板的外参数。
优化单目相机的内外参数，包括：
通过单目相机的外参数和单目相机的初始内参将所有参考点的世界坐标转为像素坐标，与从图片中提取的参考点的像素坐标一同构建代价函数；
由非线性优化将代价函数最小化，实现优化单目相机的内外参数。
通过单目相机出厂时标称的相机内参作为准确的初始内参，或者若无出厂的标称内参，则通过张氏标定法对同一型号的单目相机抽样进行准确标定，取其平均值作为单目相机的预估的初始内参。
所述标定板为二维码标定板。
附图说明
图1为ADAS单目相机的标定方法的流程示意图；
图2为单目相机和标定板安装示意图；
图3为在二维码标定板上建立世界坐标系的示意图；
图4为在二维码标定板上建立的世界坐标系角度存在偏差的示意图；
图5为平移后的世界坐标系轴方向与单目相机光轴在地面正投影的方向之间存在夹角的示意图；
图6为平移后的世界坐标系的Y轴上的若干点投影到成像图片上，并形成一条直线的示意图；
图7为旋转世界坐标系示意图；
图8为迭代旋转世界坐标系过程示意图；
图9为修正后的世界坐标系示意图；
图10使用标定后的单目相机测距的示意图。
具体实施方式
一种ADAS单目相机的标定方法，如图1所示，包括：
在地面标定板的参考点上建立世界坐标系，计算出安装在车辆上单目相机的外参数，并优化单目相机的内外参数；
由已经优化好的单目相机内外参数，通过世界坐标系与单目相机坐标系的转换关系，计算单目相机光学点相对于标定板上世界坐标系原点的坐标值；
根据单目相机光学点相对于标定板上世界坐标系原点的坐标值，将标定板上世界坐标系原点平移至单目相机光学点的正下方，作为单目相机光学点新的世界坐标系原点，重新计算此时单目相机的位姿，即完成当前单目相机的标定。
在标定的开始时，可通过单目相机出厂时标称的相机内参作为初始内参或者若无出厂的标称内参，则通过张氏标定法对同一型号的单目相机抽样进行准确标定，取其平均值作为单目相机的初始内参。单目相机内参用矩阵表示，其定义为：
其中、代表代表单目相机光轴在图像坐标系中的偏移量，即图像中心点。、为像素尺度的镜头焦距。
在该标定的实施例中采用两块二维码标定板，分别将两块二维码标定板平铺在车辆前方摄像头视野内，视野内左右两边各一块，无其它摆放要求，如图2所示。两块二维码标定板分别命名为Tag0和Tag1。两块二维码标定板各自有4个角点，分别为a、b 、c、d，用后置编号0和1区分两块二维码标定板的角点。单目相机安装的位置没有强制性要求，拍摄方向可选为车辆前方，安装后固定不动。
选择每一块二维码标定板其中一个角点各自建立世界坐标系，如图3所示。分别获得每一块二维码标定板的a、b 、c、d四个角点在各自建立世界坐标系的坐标。世界坐标表示为。对于单目相机拍摄的图片，提取每一块二维码标定板上4个角点的像素坐标。像素坐标表示为。位姿代表世界坐标系到像素坐标系的转换关系，主要包含旋转平移矩阵，即单目相机的外参数。旋转矩阵、平移向量、位姿分别表示为：
,,
旋转矩阵可以由旋转向量表示，它们之间通过罗德里格斯公式（Rodrigues’sFormula）进行转换，旋转向量是一个三维向量，因此单目相机位姿共包含6个参数。由世界坐标和像素坐标的转换关系，通过PnP(pespective-n-point)方法求得单目相机与Tag0的位姿，单目相机与Tag1的位姿。再由把Tag1上4个角点的世界坐标转换到Tag0的世界坐标系下，统一坐标系后，仅保留1组单目相机外参，，即单目相机与Tag0位姿，以获得单目相机相对于该标定板的外参数。
目前共有8个标定参考点的世界坐标和像素坐标，记该世界坐标为：，记该像素坐标为：，用单目相机位姿和单目相机初始内参将世界坐标转为像素坐标，记该像素坐标为：由于初始内参不是准确值，因此与将存在误差。构建代价函数：，通过非线性优化将代价函数最小化，得到最接近准确值的单目相机内外参。
计算单目相机光学点相对于标定板上世界坐标系原点的坐标值：这里光学点即单目相机坐标系的原点，设，根据单目相机坐标系与世界坐标系的转换公式：
,代入，得到，即
其中表示单目相机坐标系上的点，表示世界坐标系上的点。
将标定板上世界坐标系原点平移至单目相机光学点的正下方，作为单目相机光学点新的世界坐标系原点，并将单目相机光学点的坐标值X和Y置零，Z保持不变。记此时单目相机光学点的世界坐标，同时重新计算单目相机位于此位置时的平移矩阵，旋转矩阵保持不变。至此已经完成世界坐标系的平移操作，此时单目相机的外参数为和。
经过前述步骤完成了世界坐标系的平移，但由于人工摆放可能造成的偏差，二维码标定板摆放的角度不同，使世界坐标系的方向存在偏移，此时设轴方向与单目相机光轴在地面正投影的方向之间的夹角为，如图4和图5所示。若使用该世界坐标系，将无法准确进行测距或对雷达数据进行映射，因此需要对世界坐标系的方向进行修正，使平移后的世界坐标系轴方向与单目相机光轴在地面正投影的方向相同。
利用单目相机内参矩阵和和单目相机光学点的相机坐标，求得相机光学点在成像图片上的像素坐标。在不考虑畸变的情况下，由当前单目相机内外参数，将平移后的世界坐标系的Y轴上的若干点投影到成像图片上，并形成一条直线，如图6所示；
若单目相机光学点在成像图片上的像素坐标在直线左侧，则将平移后的世界坐标系绕自身轴逆时针旋转，使单目相机光学点的Y轴则与平移后的世界坐标系的Y轴方向一致；
若单目相机光学点在成像图片上的像素坐标在直线右侧，则将平移后的世界坐标系绕自身轴顺时针旋转，使单目相机光学点的Y轴则与平移后的世界坐标系的Y轴方向一致；
若单目相机光学点在成像图片上的像素坐标在直线上，单目相机光学点的Y轴则与平移后的世界坐标系的Y轴方向一致，平移后的世界坐标系保持不变。
以图6的情况为例，点在直线左侧，需要逆时针旋转世界坐标系。如图7所示，设旋转的角度为，则旋转矩阵，用左乘、、、在坐标系上的坐标值，得到这4个点在旋转后的坐标系的坐标值，同时这4个点在成像图片上的像素坐标不变。通过solvePnP方法，用这组新的世界坐标与像素坐标求得新的旋转矩阵和平移矩阵，单目相机内参矩阵保持不变。
重复平移世界坐标系的步骤，更新单目相机的外参数。并检查平移后的世界坐标系的方向，直到点落在直线上，如图8所示。结束修正过程。修正后的世界坐标系，如图9所示，其Y轴方向与车身前进方向一致，可以直接用于测距或者定位。
雷达通常用于探测目标的实际距离，但是无法找到该目标在图像上的位置。通过标定后的单目相机内外参数，可以把雷达数据转化成像素坐标，从图像上定位被探测的目标。
将雷达被安装在平移后的世界坐标系的轴上，设雷达探测的目标都处于地面上，则由雷达得到被测物体的世界坐标。
由单目相机内参矩阵和外参矩阵相乘得到变换矩阵。
设像素点的齐次坐标为，世界坐标点的齐次坐标为，则它们的变换关系为，其中是进行齐次坐标变换的尺度因子。通过该公式可以把世界坐标系的点映射到图像上，从而得到雷达数据点在图像上的位置。若通过其它途径得到目标的世界坐标，也可应用方法在图像上进行定位。
使用单目相机进行测距时，由于变换矩阵是不可逆矩阵，不能直接通过变换公式把像素坐标转换到世界坐标上。设车辆、行人和障碍物等都处于地面上，则它们的世界坐标的值为0，此时可以忽略变换矩阵第3列的值，即：
，
由于是可逆矩阵，可以通过像素坐标得到世界坐标。以行人测距为例，由目标检测技术得到行人的检测框，以检测框的底边中点坐标作为行人在图像上的像素坐标，由变换矩阵可得到其世界坐标，由此得到纵向距离和横向距离，如图10所示。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
