一种基于边缘特征的RGB-D视觉里程实现方法 专利技术说明

计算;推算;计数设备的制造及其应用技术一种基于边缘特征的rgb-d视觉里程实现方法技术领域1.本发明属于移动机器人自主导航与定位技术领域，涉及一种基于边缘特征的rgb-d视觉里程实现方法。背景技术：2.里程计是一种通过传感器采集的数据估算载体位姿的技术，是实现机器人自主导航以及定位的重要基础。其中，视觉里程计是根据视觉信息实现位姿估算的技术，相比于激光雷达里程计、惯性导航里程计等具有采集信息丰富、部署成本较低的优点。当前常见的视觉里程计方案主要使用单目、双目和rgb-d相机进行环境信息的采集，其中rgb-d相机在三维信息的获取以及对环境的鲁棒性方面具有一定的优势，因此在各个领域中应用较为广泛。3.目前，视觉里程计已经取得了令人瞩目的发展，但由于实际场景的复杂性，其鲁棒性、实时性和精度难以满足实际的应用需求。常见的视觉里程计方案按照作用机理可大致分为三大类：①间接法(如：patm，orb-slam)，通过提取和匹配图像的关键点来估计相机的位姿。该方法在弱纹理场景下难以获得充分可靠的特征匹配，进而导致追踪失败；②直接法(如lsd-slam，dso)，在光度一致性的假设的基础上，通过图像对齐计算相机的位姿。该假设在光照突变的场景下是无效的；③基于迭代最近点的方法(如kinetic fusion，elastic fusion)，通过点云对齐获取最优相机位姿，该方法对场景三维结构的充分性有较高的要求。尽管诸多学者提出了方法来解决上述问题，比如：多特征融合，多度量融合以及光度标定等，但是在实际的工程应用中仍然存在一定的局限性。4.近期，基于边缘特征的视觉里程计方案受到了广泛关注，该方法通过对齐图像边缘实现相机位姿的估计。由于利用了边缘特征，能够有效缓解弱纹理场景下数据关联不充分的问题，同时基于距离场度量的方式能够避免光照变化对算法的影响，因此该方案在复杂场景下具有一定的优势。然而，边缘法在相机位姿估计中需要大量的边缘参与计算，较大的计算复杂度导致算法实时性差，另外由于边缘的噪声问题导致图像对齐存在大量外点，位姿估计的精度难以满足实际的应用需求。5.因此有必要重点解决如何更好地利用图像边缘信息，实现高效、精确、鲁棒的rgbd视觉里程计。技术实现要素：6.有鉴于此，本发明的目的在于提供一种基于边缘特征的rgb-d视觉里程实现方法，该方法通过边缘点的采样以及外点剔除，提升相机追踪的效率和精度，充分利用图像的边缘点信息，使得相机追踪在弱纹理、光照变化等复杂场景下鲁棒性更强。7.为达到上述目的，本发明提供如下技术方案：8.一种基于边缘特征的rgb-d视觉里程实现方法，该方法通过边缘点的采样以及外点剔除的方式提升相机追踪的效率和精度，具体包括以下步骤：s1：从kinect相机中获取当前帧，并进行数据预处理；s2：估计当前相机位姿，并判定是否为关键帧；s3：对新的关键帧进行边缘特征选择；s4：对相邻的若干关键帧进行局部优化。9.进一步，步骤s1中，具体包括：对当前帧时进行数据预处理，从相机中获取的当前帧包括rgb图像和深度图像，kinect传感器在硬件层面已经实现了二者的时间同步；在数据预处理阶段，首先针对rgb图像，采用canny算子提取图像中的边缘特征，然后通过距离场变换方法计算当前帧的多尺度距离场。10.进一步，在步骤s2中，估算当前帧位姿并判定是否为关键帧：结合当前帧多尺度距离场信息，采用迭代最近点算法逐层对齐当前对齐当前帧和上一关键帧的边缘点，实现相对位姿的估计，在完成相机位姿估计后，根据像素的运动信息判定当前帧是否为关键帧。11.进一步，在步骤s3中，对新的关键帧进行边缘特征选择：针对当前关键帧的所有边缘点，从运动估计的不确定性原理出发，结合边缘点的空间关联性和观测噪声建立评价指标，采用组合优化的方法从所有点中选择高质量的边缘点，并将其应用于相机追踪和局部优化中。12.进一步，在步骤s4中，对相邻的若干关键帧进行局部优化：为进一步提升相机位姿估计的精度，edgevo维护一个固定帧数的滑动窗口，每当新的关键帧插入，对窗口内的若干相邻关键帧进行局部优化，优化的变量包括各帧的相机位姿以及边缘点深度；同时，采用舒尔补算法对较老的关键帧或可见边缘较少的关键帧进行边缘化。13.进一步，在步骤s1中，从rgbd相机中获取当前帧ic，针对其中的rgb图像，首先将其转化为灰度图并进行高斯平滑，以降低图像中的噪声，然后采用canny算法从灰度图中提取边缘图，并对边缘图进行距离变换，获取当前帧的距离场dc，最后构建多尺度距离场，具体构建算法如下：[0014][0015]其中，(x,y)是第n层距离场中像素的坐标，在本发明中可以将层数设为3。[0016]进一步，在步骤s2中，采用迭代最近点算法，通过对齐当前帧与上一关键帧ir的边缘点估计相对位姿；首先提取上一关键帧经过选择的边缘点集{pi}以及对应的逆深度{ρi}，然后根据初始化的相对位姿ξc,r将其投影至当前帧中，结合距离场获取投影点到最近边缘点的欧氏距离，最后通过最小化该距离估计相机位姿，具体计算方式如下：[0017][0018]r＝σdc(ω(ρi,pi,ξc,r))[0019]其中，w是一个加权矩阵，采用huber加权方案以降低较大残差对估计产生的负面影响；ω为根据相机基本几何模型构建的重投影函数；针对上述目标函数，采用levenberg-marquardt算法进行迭代优化求解；[0020]为了提高位姿估算的精度，本发明根据步骤s1计算的多尺度距离场，采用由粗到精的优化方式，边缘重投影和对齐是从最低分辨率级别到最高级别逐层执行。另外，在每次迭代优化过程中，识别并移除潜在的外点。首先移除重投影误差较大的边缘点，逐层设置相应的阈值进行判定，其次计算重投影的边缘点与最近点的梯度法向夹角，若夹角过大，则认为它们相似度较低可以视为外点。[0021]根据位姿估计过程中得到的信息判定当前帧是否为关键帧：设定三条判定策略：1)统计上一关键帧所有边缘点的像素运动，若平均运动距离超过某一阈值，则判定为关键帧；2)如果当前帧与上一关键帧的边缘匹配数量低于平均匹配数量的三分之一，则判定当前帧为关键帧；3)如果以上条件均未发生，将以固定间隔(1秒)插入新的关键帧。[0022]进一步，在步骤s3中，针对新的关键帧，通过边缘特征选择获取少量高质量的边缘点用于相机位姿的追踪：首先从当前帧的canny边缘图中提取所有边缘点，并剔除没有深度信息或梯度幅值较低的点，得到候选点集{p0,p1,…,pn-1}；然后，结合当前关键帧的位姿信息，计算各点的关于位姿的导数ji，进而构建运动雅克比矩阵j＝[j0,j1,…jn-1]t，当前关键帧的位姿估计协方差矩阵为∑＝(jtj)-1；根据最小二乘原理，该矩阵揭示了位姿估计的不确定性，它依赖于矩阵j的谱性质，因此，将边缘特征选择问题转化为矩阵j谱性质的保持问题：[0023]假设候选集合为u＝{0,1,…,n-1}，为选择的边缘点索引集合，j(s)是相应的级联子矩阵，为避免选择的边缘呈现聚集效应，将候选集合划分为k个不相交的子集，即此时，边缘特征选择问题可以通过如下方式求解：[0024]arg max logdet(h(s))s.t.|s∩pi|＝1[0025]其中，logdet(·)是一个子模函数，用于计算矩阵的对数行列式，它量化矩阵的谱特性；h(s)＝jt(s)j(s)是边缘海森矩阵；[0026]上述目标函数是一个np-hard的子模态优化问题，为了降低子矩阵选择的计算复杂度，本发明设计了一种特殊的近似算法，即随机分区贪婪算法。在第i次迭代中，从u中随机选取一个分区pi，然后，当满足以下条件时，从分区中选择对应的边缘点索引：[0027][0028]其中，si-1＝{e1,…,e-1}是上一步迭代选择的边缘索引集合，对角矩阵λi的加入是为了提升他的数值稳定性；这样每条边缘点只需要被计算一次，复杂度降低为并且逼近率能够达到0.5；[0029]此外，为了避免无效的边缘点，选择能够被重观测概率较大的点，首先进行可视性检查，根据相机的运动信息以及边缘点三维坐标，通过重投影计算预测是否会随着相机运动超出视场；其次，根据各个边缘点的梯度幅值计算其被重观测的概率：[0030][0031]其中，a是canny算子中的高阈值，mi是第i个边缘点的梯度幅值；从上式可知，当边缘点的梯度幅值越大，则意味着该边缘点越有可能被观测到，此时，边缘选择算法为：[0032][0033]进一步，在步骤s4中，为了进一步提升相机位姿的精度和轨迹的一致性，采用局部优化的方法对相邻的若干关键帧进行联合优化：维护一个5-7帧规模的滑动窗口每当新的关键帧插入时，首先激活滑窗内先前关键帧的边缘点以构建新的几何约束；为了获得均匀分布的边缘和可靠的几何约束，将新关键帧的图像进行网格化，每个网格的尺寸为20*20个像素，将所有边重新投影到这些网格中，同时从每个单元格中选择激活点，具体策略为：1)剔除重投影误差过大的点；2)剔除与最近边缘点法向夹角过大的点；3)统计各点的被观测的次数，从各个网格中优先选择次数较大的点作为激活点；[0034]然后，根据激活的边缘点进行滑窗优化，优化变量χ包括各帧的位姿、边缘点深度和相机内参c；对于滑窗内任意两帧ii和ij，其相对世界坐标系的位姿分别为ξi和ξj，两帧之间的几何残差可以通过将ii的激活边缘重投影至ij中进行计算：[0035]r＝d(p′(ρ,ξi,ξj,c))[0036]其中，p'是ii的激活边缘点在ij中的重投影位置；将所有激活边缘点进行上述的重投影计算构建滑窗内各帧间的几何约束，通过最小化所有的重投影残差优化变量χ，计算方式如下：[0037][0038]另外，为了保持滑窗固定的规模，每当新的关键帧的插入时，边缘化先前的某一个关键帧。在实际计算当中，本发明通常保留滑窗内最后插入的两帧关键帧不变，选择某个距离当前关键帧较远或者边缘点较少的帧进行边缘化。[0039]本发明的有益效果在于：[0040]相比于现有的边缘法视觉里程计，本发明通过边缘点的采样以及外点剔除的方法提升了相机追踪的效率和精度；相比于常用的视觉里程计方法，本发明充分利用图像的边缘点信息，使得相机追踪在弱纹理、光照变化等复杂场景下鲁棒性更强。实验结果表明，本发明提供的方法具有良好的性能，可以很好地推广到不同的场景和不同的移动设备中。[0041]本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。附图说明[0042]为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：[0043]图1为本发明与基准方法在tum rgbd数据集上的计算耗时图；[0044]图2为本发明在tum rgbd数据集上的使用的边缘点数量vs轨迹误差；[0045]图3为本发明提出的edgevo的架构示意图。具体实施方式[0046]下面结合附图对本发明技术方案进行详细说明。[0047]本发明的具体框架如图3所示，本发明提出的方法包括追踪、边缘特征选择和局部建图三个部分，以rgbd相机采集的视频流作为输入，利用观测的边缘信息实时估计相机的位姿。具体实施步骤如下：[0048]步骤s1：从rgbd相机中获取当前帧ic，针对其中的rgb图像，首先将其转化为灰度图并进行高斯平滑，以降低图像中的噪声，然后采用canny算法从灰度图中提取边缘图，并对边缘图进行距离变换，获取当前帧的距离场dc，最后构建多尺度距离场，具体构建算法如下：[0049][0050]其中，(x,y)是第n层距离场中像素的坐标，在本实施例中将层数设为3。[0051]步骤s2：采用迭代最近点算法，通过对齐当前帧与上一关键帧ir的边缘点估计相对位姿。首先提取上一关键帧经过选择的边缘点集{pi}以及对应的逆深度{ρi}，然后根据初始化的相对位姿ξc,r将其投影至当前帧中，结合距离场获取投影点到最近边缘点的欧氏距离，最后通过最小化该距离估计相机位姿，具体计算方式如下：[0052][0053]r＝∑dc(ω(ρi,pi,ξc,r))[0054]其中，w是一个加权矩阵，采用huber加权方案以降低较大残差对估计产生的负面影响。ω是根据相机基本几何模型构建的重投影函数。针对上述目标函数，采用levenberg-marquardt算法进行迭代优化求解。[0055]为了提高位姿估算的精度，根据步骤s1计算的多尺度距离场，采用由粗到精的优化方式，边缘重投影和对齐是从最低分辨率级别到最高级别逐层执行。另外，在每次迭代优化过程中，识别并移除潜在的外点。首先移除重投影误差较大的边缘点，逐层设置相应的阈值进行判定，其次计算重投影的边缘点与最近点的梯度法向夹角，若夹角过大，则认为它们相似度较低可以视为外点。[0056]步骤s3：根据步骤s2位姿估计过程中得到的信息判定当前帧是否为关键帧。设定三条判定策略：①统计上一关键帧所有边缘点的像素运动，若平均运动距离超过某一阈值，则判定为关键帧；②如果当前帧与上一关键帧的边缘匹配数量低于平均匹配数量的三分之一，则判定当前帧为关键帧；③如果以上条件均未发生，将以固定间隔(1秒)插入新的关键帧。[0057]步骤s4：针对新的关键帧，通过边缘特征选择获取少量高质量的边缘点用于相机位姿的追踪。首先从当前帧的canny边缘图中提取所有边缘点，并剔除没有深度信息或梯度幅值较低的点，得到候选点集{p0,p1,...,pn-1}。然后，结合当前关键帧的位姿信息，计算各点的关于位姿的导数ji，进而构建运动雅克比矩阵j＝[j0,j1,…jn-1]t，当前关键帧的位姿估计协方差矩阵为∑＝(jtj)-1。根据最小二乘原理，该矩阵揭示了位姿估计的不确定性，一般情况下，它依赖于矩阵j的谱性质。因此，将边缘特征选择问题转化为矩阵j谱性质的保持问题。[0058]假设候选集合为u＝{0,1,…,n-1}，为选择的边缘点索引集合，j(s)是相应的级联子矩阵。为避免选择的边缘呈现聚集效应，将候选集合划分为k个不相交的子集，即此时，边缘特征选择问题可以通过如下方式求解：[0059]arg max logdet(h(s))s.t.|s∩pi|＝1[0060]其中，logdet(·)是一个子模函数，用于计算矩阵的对数行列式，它量化矩阵的谱特性。h(s)＝jt(s)j(s)是边缘海森矩阵。[0061]上述目标函数是一个np-hard的子模态优化问题，为了降低子矩阵选择的计算复slam2，canny-vo和reslam。主要从算法的精度、鲁棒性和实时性进行了如下比较：[0075]在精度方面，如表1所示，首先计算了各个方法在实验数据集上的绝对轨迹误差，然后提取平移分量并计算均方根误差，由此来对比各个方法的精度。edgevo相比现有的直接法elasticfusion和间接法orb-slam2有着相近甚至有着更高的精度表现，尤其是在复杂场景下，本发明所提出的方法在精度方面展示出较强的优势。相比于现有的边缘法canny-vo和reslam而言，edgevo在绝大数的场景中均精度更高。[0076]表1：本发明与基准方法在tum rgbd数据集下的轨迹误差[0077][0078]在鲁棒性方面，如表1所示，本发明所提出的方法能够在成功追踪所有场景下的相机运动，并获得较为准确的相机位姿，而现有的直接法elasticfusion在光照变化场景fr2_desk以及高反射场景fr2_cabinet中存在位姿估计精度差甚至追踪失败的现象。现有的间接法orb-slam2在弱纹理场景fr3_str_notex_far和fr3_cabinet中均跟踪失败。[0079]在实时性方面，如图1所示，统计了算法在各条数据上平均每帧的计算耗时，以对比各个算法的计算效率。由图可知，orb-slam2的计算耗时最大，reslam的计算耗时次之，edgevo在不进行边缘特征选择时计算耗时和reslam相近，而加入边缘特征选择后，计算耗时最小，在本发明的计算平台上能够实现80hz左右的相机追踪效率。相比于elasticfusion需要高性能gpu才能实现20hz的效率，edgevo仅需要普通的cpu就能实现远超于elasticfusion的计算效率。另外，由于canny-vo算法没有开源，本发明采用数据进行分析，该方法能够在i7-4770 cpu计算平台上实现25hz的计算效率，相比之下，本发明的方法仍然具有较强的优势。[0080]另外，为了验证边缘特征选择的有效性，统计了edgevo在各条数据中平均每帧使用的边缘数量以及对应的轨迹均方根误差，由图2可知，在加入边缘特征选择后，edgevo每帧使用的边缘数量显著降低，相比于不加边缘选择的情况，位姿估计的精度接近甚至更高。同样地，从图1可知，当通过边缘选择降低特征数量后，算法的计算效率显著增强。[0081]实验结果表明，本发明提出的方法具有较高的精度，能够克服复杂场景对视觉里程计的局限性。并且，本发明所提出的边缘特征选择算法能够降低边缘点的使用数量，大幅提升edgevo的计算效率，充分满足实际应用中视觉里程计实时性的要求。[0082]最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!