一种基于变焦相机的位姿测量方法

计算;推算;计数设备的制造及其应用技术1.本发明涉及位姿测量技术领域，尤其是一种基于变焦相机的位姿测量方法。背景技术：2.在传统的位姿测量或视觉着陆/舰应用中，视觉系统的主要测量误差来源是合作特征的成像尺寸减小导致的图像提取误差，成像尺寸的变化本质是回归到像素点代表的实际距离的大小，近距离的时候图像提取误差代表的实际距离很小，一旦距离变远或成像角度增大，意味着单个像素点代表的距离就增大了，所以图像提取误差对位姿测量的误差影响随着距离逐渐增大，因此现有的实施方案都采用组合镜头的方式来提高在远距离条件下视觉系统的测量精度，但组合镜头的方式在成本和载重量较高，限制了其应用场景。技术实现要素：3.本发明人针对上述问题及技术需求，提出了一种基于变焦相机的位姿测量方法，本发明的技术方案如下：4.一种基于变焦相机的位姿测量方法，该方法包括：5.控制变焦相机在当前焦距下进行图像采集获取当前帧测量图像；6.对当前帧测量图像进行目标位置和目标尺度的识别得到各个合作特征的测量坐标；7.对每个合作特征的测量坐标进行椭圆拟合求解，若拟合得到的椭圆的目标区域面积sr相对于当前帧测量图像的面积s的占比小于预定阈值，则控制变焦相机进行变焦直至拟合得到的椭圆的目标区域面积sr相对于当前帧测量图像的面积s的占比达到预定阈值；8.当拟合得到的椭圆的目标区域面积sr相对于当前帧测量图像的面积s的占比达到预定阈值时，将拟合得到的椭圆的中心坐标作为特征像素点；9.对四个特征像素点进行pnp求解得到位姿测量结果。10.本发明的有益技术效果是：11.本技术公开了一种基于变焦相机的位姿测量方法，该方法利用变焦相机来实现位姿测量，通过改变焦距提高在远距离的目标成像分辨率，降低特征提取误差对于整个位姿测量精度的影响，尤其在中远距离条件下可以达到较高的视觉位姿测量精度，且具有无人机导航应用所需要的鲁棒性与实时性。12.该方法针对动态改变焦距的过程中目标特征在成像视场中尺度变化剧烈的情况，通过目标位置滤波器和目标尺度滤波器实现目标位置和目标尺度的识别跟踪，估计圆特征的尺度变化以此适应测量距离的变化，从而能够根据测量精度需求实时控制焦距变化并捕捉跟踪目标特征。13.而针对动态改变焦距的前后状态下变焦相机内参数发生改变的情况，该方法利用在线标定的相机内参数在线标定值进行位姿测量，提高位姿测量的准确性。附图说明14.图1是一个实施例中的位姿测量方法的流程图。15.图2是另一个实施例中的位姿测量方法的流程图。16.图3是一个实例中本技术的位姿测量方法与传统的位姿测量方法的xyz轴的绝对误差的结果比较图。17.图4是一个实例中本技术的位姿测量方法与传统的位姿测量方法的xyz轴的误差百分比变化的结果比较图。具体实施方式18.下面结合附图对本发明的具体实施方式做进一步说明。19.本技术公开了一种基于变焦相机的位姿测量方法，请参考图1所示的流程图，该方法包括如下步骤：20.步骤s1，控制变焦相机在当前焦距下进行图像采集获取当前帧测量图像。21.步骤s2，对当前帧测量图像进行目标位置和目标尺度的识别得到各个合作特征的测量坐标。22.在一个实例中，根据合作特征的数量创建对应数量的线程并初始化，并根据设定好的物点与像点的匹配关系分配每个合作特征的编号id。在之后的图像序列里，对合作特征的位置跟踪彼此独立，也即通过各个线程并行进行目标位置和目标尺度的识别确定对应的合作特征的测量坐标。23.具体的，对合作特征的位置跟踪包括两个阶段：确定目标新位置和确定目标新尺度，分别介绍如下：24.1、通过目标位置滤波器获取当前帧测量图像中的目标新位置。25.首先初始化一个二维的目标新位置的预期高斯输出进行目标位置滤波器的参数初始化，再以前一个时刻的测量坐标为中心确定一个预定范围的样本，该预定范围比如选尺寸为前一个时刻的目标的尺寸2倍大小的范围。对预定范围中每个像素点计算包括原始灰度特征和fhog特征在内的28维的融合特征。26.基于各个像素点的融合特征利用预设位置模型确定目标新位置。具体的，将每个像素点的融合特征乘以二维hann窗作为位置测试输入z1，将使得响应最大的位置测试输入z1作为目标新位置。其中，f-1()表示求傅里叶反变换，l是表示维度的参数，d1是位置测试输入z1的维度的最大值，λ1是正则项的系数；a1lt表示t时刻l维度下的预设位置模型a1，b1t表示t时刻下的预设位置模型b1。预设位置模型a1和预设位置模型b1可以采用现有的深度学习模型来实现，本技术不再详细展开。27.同时还会利用目标新位置更新预设位置模型，具体的，预设位置模型a1的更新过程写为：程写为：是t-1时刻l维度下的预设位置模型a1，η1为学习速率，是目标位置滤波器的输出在t时刻下取反后的傅里叶变换，ftl是学习样本f在t时刻l维度下的傅里叶变换。预设位置模型b1的更新过程写为：bt-1是t-1时刻下的预设位置模型b1，η2为学习速率，k是表示维度的参数，ftk是学习样本f在t时刻k维度下的傅里叶变换28.2、由于合作特征的测量坐标还会受到尺度的影响，因此在得到目标新位置后，还需要进一步通过目标尺度滤波器来估计圆特征的尺度变化以适应测量距离的变化，从而由目标新位置和目标新尺度得到准确的合作特征的测量坐标。29.首先初始化一个一维的目标新尺度的预期高斯输出进行目标尺度滤波器的参数初始化，以目标新位置为中心并提取33种不同尺度下的样本，将每个样本的尺寸固定并提取pca-hog特征。30.然后基于每个样本的pca-hog特征利用预设尺度模型确定目标新尺度。具体的，将每个样本的pca-hog特征乘以一维hann窗并进行插值降维减少运算量，得到尺度测试输入z2。将使得响应最大的尺度测试输入z2作为目标新尺度，其中，f-1()表示求傅里叶反变换，l是表示维度的参数，d2是尺度测试输入z2的维度的最大值，λ2是正则项的系数。表示t时刻l维度下的预设位置模型a2，b2t表示t时刻下的预设位置模型b2。同样的，预设位置模型a2和预设位置模型b2可以采用现有的深度学习模型来实现，本技术不再详细展开。31.同样的，利用目标新尺度更新预设尺度模型。预设位置模型a2的更新过程与上述预设位置模型a1的更新过程相同，预设位置模型b2的更新过程与上述预设位置模型b1的更新过程相同，该实施例不再赘述。32.步骤s3，对每个合作特征的测量坐标进行椭圆拟合求解。33.在椭圆标准坐标系下，椭圆参数满足xeλxet＝1，xe是椭圆上的坐标，a、b为椭圆参数且a表示椭圆的长半轴，b表示椭圆的短半轴。合作特征的测量坐标x0与椭圆上的坐标xe之间的转换关系满足：xe＝r(α)x0+(tx ty)t，r(α)表示旋转矩阵，tx表示测量坐标系与椭圆坐标系之间在x方向的平移向量，ty表示测量坐标系与椭圆坐标系之间在y方向的平移向量。基于该转换关系可以列出误差方程并利用泰勒级数展开，得到误差方程的泰勒级数展开项为通过最小二乘法迭代求解、最小化该误差vi，其中α表示坐标旋转矩阵角度参数，li表示坐标平移分量。由此可以得到椭圆参数，然后基于椭圆参数即可拟合得到椭圆。34.步骤s4，若拟合得到的椭圆的目标区域面积sr相对于当前帧测量图像的面积s的占比小于预定阈值τ，也即则控制变焦相机进行变焦直至拟合得到的椭圆的目标区域面积sr相对于当前帧测量图像的面积s的占比达到预定阈值。35.其中，控制变焦相机进行变焦的方法包括：根据拟合得到的椭圆的目标区域面积sr和当前帧测量图像的面积s通过pid控制确定变焦相机变焦至的目标焦距，由变焦相机在目标焦距下获取到的当前帧测量图像拟合得到的椭圆的目标区域面积sr相对于当前帧测量图像的面积s的占比达到预定阈值，且拟合得到的椭圆位于当前帧测量图像的中心。具体的，按照zm＝zc+kp*ep+kd*ed进行pid控制，确定目标焦距zm，zc是当前焦距，kp、kd是pid控的误差比例系数，ep由当前拟合得到的目标区域面积sr相对于当前帧测量图像的面积s的占比计算得到，ed由当前计算得到的ep和上一个计算得到的ep的误差得到。具体的，ed＝(ep-e′p)*h，e′p是上一个计算得到的ep，h是由上一个计算得到的ep与当前计算得到的ep之间的时间差决定的因子。36.步骤s5，当拟合得到的椭圆的目标区域面积sr相对于当前帧测量图像的面积s的占比达到预定阈值时，将拟合得到的椭圆的中心坐标作为特征像素点。37.步骤s6，对四个特征像素点进行pnp求解得到位姿测量结果。38.实际在进行pnp求解时，还需要利用到相机内参数，而动态改变焦距的前后状态下，变焦相机内参数也会发生改变，因此首先在线标定得到变焦相机在当前焦距下的相机内参数在线标定值，基于相机内参数在线标定值对四个特征像素点进行pnp求解得到位姿测量结果。得到相机内参数在线标定值的方法具体包括：根据离线标定得到的参数映射表确定变焦相机在当前焦距下的相机内参数初始值，并利用相机内参数初始值对扩展卡尔曼滤波器进行参数初始化。利用完成参数初始化的卡尔曼滤波器将当前帧测量图像和变焦相机上固定的imu测量单元获取到的imu测量数据进行融合、在线标定得到变焦相机在当前焦距下的相机内参数在线标定值。39.具体的利用四个特征像素点进行pnp求解的方法本技术不再赘述。请参考图2，在实际应用时，可能出现没有准确获取到四个特征像素点的情况。则当特征像素点的数量小于两个时，利用所有线程重新进行目标位置和目标尺度的识别。而当特征像素点的数量达到两个但不为四个时，利用缺失的特征像素点对应的线程重新进行目标位置和目标尺度的识别，也即仅对缺失的特征像素点重识别。40.在一个实例中，基于本技术一个实施例公开的位姿测量方法利用变焦相机进行位姿测量的误差与常规的视觉位置的位姿测量结果的误差对比示意图如图3和4所示。从测量误差结果总体来看，随着测量距离增大，合作特征在视场中所占据的比例逐渐小于设定的阈值，在利用本技术的方法时，变焦相机会进行1～30倍的变焦并在线标定得到相机内参数在线标定值，使得合作特征的图像尺寸满足系统阈值。此过程使得合作特征的图像提取精度提高，在测量距离大于100米后，利用本技术的方法带来的测量误差基本不会再随着测量距离增大而增加，但传统方法的测量误差波动较大，而且本技术的方法带来的测量误差显然小于传统不变焦的测量方法。图3示出了本技术的位姿测量方法与传统的位姿测量方法分别在x、y、z轴上的绝对误差，图4示出了本技术的位姿测量方法与传统的位姿测量方法分别在x、y、z轴上的误差百分比，l1是本技术的位姿测量方法的误差结果，l2是传统的位姿测量方法的误差结果。从x轴和y轴的绝对误差和误差百分比变化可以看出，本技术的方法的测量精度始终保持在0.5％左右，在497米的测量点，其绝对测量误差为0.5米。而按照传统方法采用未变焦条件下图像进行位姿估计时，合作特征在图像中约占3个像素，其绝对测量误差达到7.5m。41.以上所述的仅是本技术的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!