摘要以待标定鱼眼相机近似垂直棋盘格获取的单张影像为对象，综合利用多种几何约束分阶段求解鱼眼相机参数初值并进行全局优化：利用鱼眼图像轮廓对称性计算得到准确的相机主点位置(u0，v0)，并通过轮廓外接矩形扫描搜索巧妙回避了黑色背景下的轮廓点检测困难;精确拟合棋盘格两组互相垂直平行直线在鱼眼图像上投影椭圆，计算椭圆交点并将其反投影到单位球面获得平行直线灭点，根据灭点方向正交约束得到相机等效焦距初值(fx，fy)及旋转矩阵角度初值;利用径向对准约束及棋盘格角点信息先线性求解平移矢量(tx，ty)初值，进而建立一元二次方程求解平移矢量tz初值，最后通过最小化棋盘格角点重投影误差对除主点外的全部相机参数进行全局优化，并利用优化参数对鱼眼图像实施立方盒展开纠正。对海康威视两种型号(视野范围不同)定焦鱼眼相机的标定及其影像纠正试验结果表明，本文方法重投影均方根误差(RMSE)小于1/3pixel，标定参数对鱼眼图像不同区域的平面透视纠正效果总体上较稳健，中心区域纠正效果略优于边缘处，纠正影像上棋盘格角点直线拟合RMSE均小于0.7pixel，效果明显优于网上标定工具箱结果，具有较好的应用价值。
关键词机器视觉;鱼眼相机标定;鱼眼图像矫正;灭点;径向对准约束
1引言
鱼眼镜头具有视角广阔(接近甚至超过180°)、信息量丰富、体积小等优点，是发展轻、小型全方位视觉系统的理想光学传感器，在安全监控、机器人导航、全景泊车等众多领域具有极其广泛的应用前景[1-2]。但由于镜头焦距短、视场大，以及光学原理约束，鱼眼图像存在严重桶形畸变，使用前需将其转换成符合人眼视觉习惯的平面透视投影图像，其前提是获得与鱼眼镜头光学成像模型相联系的一套高精度参数[3-5]。
相关期刊推荐：《光学学报》Acta Optica Sinica(月刊)1981年创刊，是国内外公开发行的光学学术刊物，反映中国光学科技的新概念、新成果、新进展。内容主要包括量子光学、非线性光学、适应光学、纤维光学、激光与物质相互作用、激光器件、全息和信息处理、光学元件和材料等。为我国光学科技人员与国内外同行进行学术交流、开展学术讨论以跟踪学科前沿和发展我国光学事业服务。
鱼眼镜头通常由10组以上、甚至多达几十组的光学镜片复杂组合而成，光路计算十分困难[6]，主要利用球面投影模型来表征其光学成像过程，从这一角度出发，现有鱼眼相机标定方法可概略分为两类：球面投影成像和非球面投影成像。球面投影成像类标定方法主要利用空间直线在球面上投影为一个大圆(或在鱼眼图像上的投影为椭圆弧)的几何特性来求解模型参数，如假定空间直线平行于相机坐标系水平面并利用圆锥曲线方程来描述该空间直线在鱼眼图像上的投影———椭圆弧[7]，可从方程系数中分解出球面投影模型参数———球面直径(椭圆长轴)和图像光学中心(椭圆中心)，利用空间直线在球面上投影为一个大圆的限制对鱼眼镜头内部参数进行优化[8]，该方法的潜在问题在于，仅利用了空间直线投影特性(球面大圆或图像椭圆弧)求解参数，而未加入空间直线位置约束，因而获得的参数是一种粗略估计;引用单位视球概念并以平面棋盘格为二维靶标[9-10]，先根据棋盘格角点在世界坐标系、球面坐标系，以及鱼眼图像坐标系下的坐标映射关系获得参数初值，再综合利用空间直线位置特性及其投影特性进行非线性优化，模型参数求解精度高。但由于全局优化中参数数量多，不准确的参数初值易使优化陷入局部最优。分两步求解鱼眼镜头内部参数[11]，鱼眼图像上较多的标定控制点使得参数空间关系恢复计算更稳健，不足之处在于高精度三维标定场建造较复杂且需不断维护。初始阶段利用直接线性变换(DLT)模型迭代求解球面变换半径时，鱼眼图像到虚拟平面图像的像素坐标转换隐含主点位于图像中心，其结果会影响到后一阶段影像光学畸变系数计算，因此，对包括DLT系数在内的全部相机参数进行全局优化将更为合理。
非球面投影成像类标定方法的主要目的是利用标定参数对鱼眼图像进行平面透视几何纠正，隐含利用了空间直线平面透视投影仍为直线这一几何限制，如均采用通用光学图像畸变模型对鱼眼图像进行矫正[12-13]，区别在于前者借鉴了空间直线球面透视投影特性，通过最小化目标函数———对应于同一条空间直线的球面点到相应拟合大圆的球面距离的平方和来获得鱼眼图像径向、切向畸变参数，后者则利用非线性畸变成像函数和非对称光学系统原理建立了光线跟踪下的鱼眼镜头成像畸变模型，并通过曲线拟合获得所需的径向、切向畸变函数，两种算法均采用高阶畸变模型，计算复杂度高且假定镜头光学中心与图像中心重合。本文提出利用多项式表示矫正前后像素点坐标之间的关系[14]，并通过最小二乘法求得多项式参数以实现鱼眼图像矫正，建立经纬映射图像关系[15]，将扭曲的半球鱼眼图像投射为普通照片的四方形状。针对传统经纬矫正模型水平方向畸变大的问题[16]，提出一种水平/竖直双经度畸变矫正模型，通过正交投影策略将鱼眼图像映射到球面上，从而投射为以横向、纵向双经度坐标为基础的正方形平面图像。这类方法的优点在于标定参数计算过程简单、复杂度低，但精度不高且无法获得鱼眼相机等效焦距等参数，不利于量测信息的获取。其他非球面投影成像参数标定方法还包括：直接利用小孔成像模型对鱼眼相机90°左右视场范围先进行矫正[17]，再结合直线拟合及多视图计算将矫正视场范围扩展到180°，其优点在于小孔模型实现简单、适合人眼视觉效果且相机标定方便，不足之处在于要使用特殊的、非等间距的点阵模板，且需通过移动点阵模板位置来获得鱼眼图像不同区域的矫正结果;以激光扫描仪获取的三维点云为标定参照物[18]，利用线性DLT模型获得小孔成像模型初值后进行全局优化，其优点在于以激光扫描仪内置相机同步拍摄的光学图像为桥梁有效解决了离散点云和鱼眼图像特征的自动相关问题，但需要考虑激光扫描仪与光学相机间的系统集成误差以及点云柱面展开图与鱼眼球面投影图间的像素坐标转换误差影响;在小孔成像模型基础上引入鱼眼镜头径向、偏心，以及薄棱镜光学畸变[19]，建立一种精确标定鱼眼镜头成像立体视觉系统的方法，但其参数多达19个，存在过参数化问题，且需通过特定设备先对鱼眼镜头光学中心进行标定。
2鱼眼成像模型
本文鱼眼成像采用球面透视投影模型，整个成像过程如图1所示，经4个阶段从空间点变换到鱼眼图像像素坐标。
3几何约束与初值估计
3.1图像轮廓约束
理论上，当视野满足180°，鱼眼图像上包含全部景物信息的有效像素将构成一圆形区域，圆心位置对应相机光学中心(主点)[3]，但相机等效焦距fx≠fy导致的仿射变换效果以及非线性光学畸变的存在，使得该圆形区域将变为椭圆。考虑到视野不足180°导致鱼眼图像椭圆轮廓不完整且图像有效区域外部为低灰度值的无效像素，这里分三步提取鱼眼图像椭圆轮廓，并得出相机主点参数值，过程如下。
1)二值化。取灰度阈值T=30，对鱼眼图像像素进行判断：像素灰度值大于T则为轮廓点且置1，否则置0。显然，当鱼眼图像中有黑色背景时，其(椭)圆形区域内部也可能存在为0的像素，因此不能简单认为鱼眼图像轮廓位于0和1像素的边界处。
2)确定轮廓外接矩形。首先确定鱼眼图像轮廓外接矩形，其判断依据在于：二值图像中轮廓外接矩形边界应为轮廓切线且边界上灰度值1的像素点数为1。这里通过扫描、判断矩形边界上像素1的个数来克服图像噪声及轮廓形状不完整导致的干扰[22]。
径向畸变不改变鱼眼图像轮廓几何对称性，且对主点位置误差改正为0，故可认为，隐含利用鱼眼图像精确轮廓及其对称性计算得到相机主点位置为理想值，后续可不参与模型优化计算，以减少未知数优化个数，并在一定程度上避免参数相关，从而有利于优化过程迭代收敛。
3.2直线灭点约束
以空间直线自身或其影像投影几何特性为约束对相机参数进行估计、优化，是相机标定常采用的方式，本文利用标定平面上两组互相垂直平行直线的灭点信息得出相机等效焦距及旋转矩阵参数初值。理想平面透视投影下，与影像相交的空间平行直线族在影像上的投影将会聚于一点———灭点[23]，在球面透视投影下，由于空间直线被映射为过投影中心的大圆，平行直线的灭点在球面上表现为一组大圆的两个对跖交点，如图4所示。
5实验与分析
本文在PC机(英特尔E5-1620处理器&win10操作系统&VS2012编译环境)下实现上述算法，算法验证选用海康威视的两种型号定焦鱼眼相机：型号1(DS-2CD6362F-I)和型号2(DS-2CD2942F-I)，如图5所示，前者视野满足180°，传感器尺寸1/1.8英寸(1英寸=2.54cm)，影像分辨率1280pixel×1280pixel;后者竖直方向视野不足180°，传感器尺寸1/3英寸，影像分辨率1280pixel×960pixel。算法所需相互垂直的平行直线由绘制在LCD上的棋盘格得出(格网大小为M×N=11×11，间距为20.32mm)，图6(a)和图7(a)为待标定相机近距离拍摄获得的棋盘格标定影像(下称“标定影像”或“中间影像”)，图6(b)和图7(b)为待标定相机远距离拍摄的室内、外场景影像。
依据第2节的标定步骤，本文以棋盘格标定影像为对象，从中提取鱼眼图像轮廓外接矩形及图像内部椭圆进行参数初值计算，表1列出了待标定相机参数初值计算结果(k1，k2初值取0)。以型号1相机为例，图8所示为鱼眼图像轮廓外接矩形提取及椭圆拟合示意，整体优化后的投影椭圆相交于鱼眼图像内部(视野接近180°时)，且两两交点集中分布，确保了椭圆交点的准确计算并有效反投影到单位球面上获得对应平行直线的灭点矢量。以表1中参数初值为基础全局优化获得的相机参数列于表2，棋盘格角点重投影均方根误差(RMSE)小于1/3pixel，集中分布在0.5pixel以内，最大约1pixel，如图9所示，可以看出，标定结果具有较高精度。
现有鱼眼相机标定方法在几何成像过程、光学畸变模型选取，以及参数数量上存在差异，为便于比较，本文利用标定参数对鱼眼图像进行立方盒展开(平面透视纠正)，并以纠正图像上的棋盘格角点直线拟合精度作为算法性能评价依据。为充分考查标定参数的稳健性，待纠正的测试图像通过旋转、平移相机使棋盘格尽量成像于鱼眼图像四周边缘得到。其中，相机Ⅰ共拍摄左、右、上、下4个方位测试影像，如图10所示;相机Ⅱ因竖直方向视角较小，仅拍摄左、右两个方位测试影像，如图11所示。表3和表4为纠正影像(含测试图像和标定图像)上的棋盘格角点直线拟合RMSE，可以看出，本文算法标定参数对鱼眼图像不同区域纠正效果总体上较稳健，中心区域纠正效果略优于边缘处。其中，相机Ⅰ的平均RMSE约为0.5pixel，相机Ⅱ的平均RMSE约为0.3pixel，两者在纠正性能上的差别与其参数全局优化精度差异相吻合。图10和图11分别为边缘测试影像的立方盒展开结果，约160°视野(矩形框)具有较好的直线线性保持。
本文主要与网上标定工具箱方法结果进行对比，该工具箱计算原理来自文献[3]，其像素径向畸变计算方式不同于本文方法且额外增加了参数k3、k4，利用标定影像计算得到的工具箱相机标定参数如表5所示，利用工具箱标定参数对测试图像进行立方盒展开获得的棋盘格角点直线拟合误差如表6和表7所示。对于型号1相机，对比表2和表5、表3和表6可知，本文方法与工具箱方法的标定精度RMSE一致(约为0.3pixel)，但在鱼眼图像平面透视纠正效果方面，本文方法的性能整体优于工具箱参数，纠正影像上的棋盘格角点直线拟合平均精度本文方法约为0.5pixel，工具箱方法约为0.9pixel，精度提高约1倍。同时可以发现，本文方法对鱼眼图像边缘区域的纠正性能优势更突出，4幅测试影像的直线拟合精度范围为0.48～0.67pixel，而工具箱方法精度范围则为0.74～1.36pixel，且直线拟合RMSE大于1pixel的影像达到三幅，对于鱼眼图像中间区域(标定影像)的纠正效果，本文方法略低于工具箱方法，但直线拟合精度也达到了0.4pixel，完全符合实际应用需要。由于重投影误差是相机内、外部参数综合作用的结果，而鱼眼图像立方盒展开仅利用相机内部参数，因此本文方法纠正性能优于工具箱方法的原因在于，标定出的相机内部参数更符合球面透视投影模型，也更适合于超大视角的鱼眼图像纠正处理。对于型号2相机，对比表2和表5、表4和表7可知，本文方法相比于标定工具箱方法不仅标定精度提高约1倍，对鱼眼图像的纠正性能优势更为显著：单张纠正影像上的直线拟合精度本文方法均小于或接近1/3pixel，而工具箱方法即使对棋盘格位于中间区域的标定影像，其纠正后的直线拟合精度也超过0.6pixel，对棋盘格位于边缘区域的测试影像，其纠正后的直线拟合精度则接近3pixel，已无法保持其直线特性。需要指出的是，对同一棋盘格拍摄获取标定影像时，因型号1相机的竖直方向视角较小，为确保棋盘格完整成像于相机有效像素范围，型号1相机距LCD屏幕相较于型号2相机更远，其标定影像上的棋盘格也集中在径向畸变影响小的图像中心区域，也就是说型号1相机标定影像上的棋盘格角点重投影误差理论上更小，据此而言，本文算法中型号2相机比型号1相机的标定精度高约1倍，与实际拍摄场景逻辑分析相符合，而工具箱方法两相机标定结果则不能相互解释充分，对比表5、表6和表7可以发现，其型号2相机标定精度略微优于型号1相机(两者基本一致)，但后者纠正影像上的直线拟合精度反而是前者的2～3倍，存在自相矛盾之处。图9所示为利用两组标定参数对室内、外实际场景鱼眼图像的立方盒展开结果，从图9可以看出，本文标定参数的图像纠正视觉效果明显优于工具箱，工具箱型号2相机参数几乎不能恢复纠正影像中直线特征，型号1相机参数对远离图像中心的区域纠正效果也不如本文标定参数，如图9中椭圆、矩形标记区域。对相机标定精度、纠正影像上直线拟合精度以及两者结果一致性比较表明，本文标定方法比工具箱方法更具稳健性，标定参数可纠正的视野范围更大且质量更稳定。
