发布信息

用于自主移动平台的去动态点方法及其系统和设备与流程

作者:admin      2022-11-01 22:55:43     328



计算;推算;计数设备的制造及其应用技术1.本发明涉及自主移动平台技术领域,更具体地涉及用于自主移动平台的去动态点方法及其系统和设备。背景技术:2.目前,随着人工智能技术的发展,越来越多的公司及高校团队专注于自主移动平台的研究。自主移动平台通常是指搭载了诸多传感器的车辆,可以实现自主感知和移动,再通过所搭载的任务模块完成相应的工作,如巡检车或扫地机器人等等。虽然自主移动平台的应用场景几乎涉及到人们生活的方方面面,并且自主移动平台已经有了一定的发展,但目前并没有一个能在各个场景通用的解决方案。特别是自主移动平台在自主导航过程中需要用到当前环境的地图来确定自身在当前环境中的位姿,并且在自主移动平台的定位算法高度依赖地图的情况下,地图的构建精度决定了定位的精度,而动态点(或动态障碍物)出现在地图里不但会影响定位的精度,而且在构图过程中也会影响构图的精度,因此动态点(或动态障碍物)的去除是非常必要的。3.现有的动态点(或动态障碍物)检测方案通常是基于栅格化地图,在时域上进行滤波。例如,蔡自兴等人在《基于激光雷达的动态障碍物实时检测》中提出:将环境划分为栅格地图,如果同一个地图栅格中连续出现三次障碍物,即某一栅格在连续的三帧时刻都为占用状态,则这些栅格中的障碍物都为静态障碍物;如果同一个地图栅格中连续出现两次障碍物,即某一栅格在连续的两帧时刻都为占用状态,则这些栅格中的障碍物都为潜在动态障碍物,再通过其周围八个栅格的状态来判断该潜在动态障碍物是不是静态障碍物;如果同一个地图栅格中只出现一次障碍物,即某一栅格只在一帧时刻为占用状态,则这些栅格中的障碍物为动态障碍物。4.然而,现有的动态障碍物检测方案的缺点是非常明显的:一方面,该现有方案最少需要连续三帧的点云数据才能够判断是否是动态障碍物,并且需要连续三帧数据才能够去除中间帧的动态点,无法真正地满足建图的实时性要求;另一方面,该现有方案在构图过程中,任意两帧点云都需要进行配准,如果配准的点云当中有动态点,就会明显降低配准精度,而这在配准时是不可避免的,因此现有的动态障碍物检测方法在构图中的应用并不能完全去除动态点的影响。技术实现要素:5.本发明的一优势在于提供用于自主移动平台的去动态点方法及其系统和设备,其能够消除动态点对点云配准的影响,有助于精准地去除点云信息中的动态点,便于提高建图精度。6.本发明的另一优势在于提供用于自主移动平台的去动态点方法及其系统和设备,其中,在本发明的一实施例中,所述用于自主移动平台的去动态点方法能够采用相机来弥补雷达的一些固有缺陷,例如离散化采样,不能精确匹配等。7.本发明的另一优势在于提供用于自主移动平台的去动态点方法及其系统和设备,其中,在本发明的一实施例中,所述用于自主移动平台的去动态点方法能够结合相机和雷达,以达到更好的去动态点效果。8.本发明的另一优势在于提供用于自主移动平台的去动态点方法及其系统和设备,其中,在本发明的一实施例中,所述用于自主移动平台的去动态点方法能够仅利用连续的两帧数据就能够实时地去除当前帧数据中的动态点,以便满足建图的实时性需求。9.本发明的另一优势在于提供用于自主移动平台的去动态点方法及其系统和设备,其中,在本发明的一实施例中,所述用于自主移动平台的去动态点方法能够利用图像信息中连续的动态区域来精确地区分动态点和静态点之间的边界,以便更加精准地去除动态点。10.本发明的另一目的在于提供用于自主移动平台的去动态点方法及其系统和设备,其中,为了达到上述目的,在本发明中不需要采用复杂的结构或算法。因此,本发明成功和有效地提供一解决方案,不只提供一简单的用于自主移动平台的去动态点方法及其系统和设备,同时还增加了所述用于自主移动平台的去动态点方法及其系统和设备的实用性和可靠性。11.为了实现上述至少一发明目的或其他目的和优点,本发明提供了用于自主移动平台的去动态点方法,包括步骤:12.s100:获取经由该自主移动平台上配置的相机和雷达分别在当前帧时间戳和上一帧时间戳同时采集的图像信息和点云信息,以对应地得到当前帧图像数据,上一帧图像数据以及当前帧点云数据;13.s200:根据该自主移动平台在该当前帧时间戳和该上一帧时间戳之间的相对位姿关系,对该当前帧图像数据和该上一帧图像数据进行特征点处理,以确定该当前帧图像数据中的动态区域;14.s300:投影该当前帧点云数据至该相机的像平面,以将投影至该当前帧图像数据的该动态区域内的点云作为潜在动态点;以及15.s400:通过对该潜在动态点进行聚类处理,去除与该相机相距较近的点云团内的该潜在动态点。16.根据本技术的一实施例,该相机的采样频率与该雷达的探测频率相同且同步,并且该当前帧时间戳和该上一帧时间戳均为该雷达的时间戳。17.根据本技术的一实施例,所述步骤s200,包括步骤:18.s210:对经由该自主移动平台上配置的惯性测量单元和轮速计采集的数据进行航迹推演,以获得该自主移动平台在该当前帧时间戳与该上一帧时间戳之间的该相对位姿关系;19.s220:根据该自主移动平台的该相对位姿关系,对该当前帧图像数据和该上一帧图像数据进行特征点匹配,以得到该当前帧图像数据和该上一帧图像数据之间对应特征点的转换矩阵;以及20.s230:根据该对应特征点的该转换矩阵,通过透射变换确定该当前帧图像数据中的动态区域。21.根据本技术的一实施例,所述步骤s210,包括步骤:22.获取该自主移动平台在该上一帧时间戳的位姿,以作为该自主移动平台的上一帧位姿;23.对经由该惯性测量单元采集的惯性数据和经由该轮速计采集的轮速数据进行线性插值,以得到在该当前帧时间戳的轮速和角速度;以及24.根据该自主移动平台的该上一帧位姿,对在该上一帧时间戳和该当前时间戳之间的轮速和角速度进行积分,以得到该自主移动平台的当前帧位姿,从而获得该自主移动平台的该相对位姿关系。25.根据本技术的一实施例,所述步骤s220,包括步骤:26.分别对该当前帧图像数据和该上一帧图像数据进行滤波处理;27.对滤波后的该当前帧图像数据和该上一帧图像数据进行特征点提取处理,以得到滤波后的该当前帧图像数据和该上一帧图像数据中的每个特征点;以及28.以该自主移动平台的该相对位姿关系为初值,计算出该当前帧图像数据和该上一帧图像数据之间的该对应特征点的该转换矩阵。29.根据本技术的一实施例,通过ransc匹配模型在计算该转换矩阵的同时,还去除该当前帧图像数据中的动态特征点。30.根据本技术的一实施例,所述步骤s230,包括步骤:31.根据该对应特征点的该转换矩阵,对该上一帧图像数据和该当前帧图像数据进行透射变换,以得到透射变换后的该当前帧图像数据中每一像素的光强变化量;32.比较透射变换后的该当前帧图像数据中该每一像素的该光强变化量是否大于一光强阈值;以及33.将该光强变化量大于该光强阈值的像素区域判定为该当前帧图像数据的该动态区域。34.根据本技术的一实施例,所述步骤s300,包括步骤:35.将该当前帧点云数据中的所有激光点投影至该相机的该像平面,以得到该当前帧图像数据中与该所有激光点对应的像素点;36.分别判断与每一激光点对应的像素点是否处于该动态区域;以及37.响应于与某一激光点对应的像素点处于该动态区域内,将该某一激光点作为该潜在动态点。38.根据本技术的一实施例,所述步骤s400,包括步骤:39.对对应于不同的该动态区域的该潜在动态点分别进行聚类处理,以得到不同的点云团;40.根据该当前帧点云数据中的深度值,计算每个该点云团与该相机之间的平均距离;以及41.从该当前帧点云数据中去除与该相机相距较近的该点云团内的该潜在动态点。42.根据本技术的另一方面,本技术的一实施例进一步提供了用于自主移动平台的去动态点系统,其中该自主移动平台上配置有相机和雷达,其中所述用于自主移动平台的去动态点系统包括相互可通信地连接的:43.一数据获取模块,用于获取经由该相机和该雷达分别在当前帧时间戳和上一帧时间戳同时采集的图像信息和点云信息,以对应地得到当前帧图像数据,上一帧图像数据以及当前帧点云数据;44.一特征点处理模块,用于根据该自主移动平台在该当前帧时间戳和该上一帧时间戳之间的相对位姿关系,对该当前帧图像数据和该上一帧图像数据进行特征点处理,以确定该当前帧图像数据中的动态区域;45.一点云投影模块,用于投影该当前帧点云数据至该相机的像平面,以将投影至该当前帧图像数据的该动态区域内的点云作为潜在动态点;以及46.一聚类处理模块,用于通过对该潜在动态点进行聚类处理,去除与该相机相距较近的点云团内的该潜在动态点。47.根据本技术的一实施例,所述特征点处理模块包括相互可通信地连接的一航迹推演模块、一特征点匹配模块以及一区域确定模块,其中所述航迹推演模块用于对经由该自主移动平台上配置的惯性测量单元和轮速计采集的数据进行航迹推演,以获得该自主移动平台在该当前帧时间戳与该上一帧时间戳之间的该相对位姿关系;其中所述特征点匹配模块用于根据该自主移动平台的该相对位姿关系,对该当前帧图像数据和该上一帧图像数据进行特征点匹配,以得到该当前帧图像数据和该上一帧图像数据之间对应特征点的转换矩阵;其中所述区域确定模块用于根据该对应特征点的该转换矩阵,通过透射变换确定该当前帧图像数据中的动态区域。48.根据本技术的一实施例,所述航迹推演模块包括相互可通信地连接的一位姿获取模块、一线性插值模块以及一速度积分模块,其中所述位姿获取模块用于获取该自主移动平台在该上一帧时间戳的位姿,以作为该自主移动平台的上一帧位姿;其中所述线性插值模块用于对经由该惯性测量单元采集的惯性数据和经由该轮速计采集的轮速数据进行线性插值,以得到在该当前帧时间戳的轮速和角速度;其中所述速度积分模块用于根据该自主移动平台的该上一帧位姿,对在该上一帧时间戳和该当前时间戳之间的轮速和角速度进行积分,以得到该自主移动平台的当前帧位姿,从而获得该自主移动平台的该相对位姿关系。49.根据本技术的一实施例,所述特征点匹配模块包括相互可通信地连接的一数据滤波模块、一特征点提取模块以及一矩阵计算模块,其中所述数据滤波模块用于分别对该当前帧图像数据和该上一帧图像数据进行滤波处理;其中所述特征点提取模块用于对滤波后的该当前帧图像数据和该上一帧图像数据进行特征点提取处理,以得到滤波后的该当前帧图像数据和该上一帧图像数据中的每个特征点;其中所述矩阵计算模块用于以该自主移动平台的该相对位姿关系为初值,计算出该当前帧图像数据和该上一帧图像数据之间的该对应特征点的该转换矩阵。50.根据本技术的一实施例,所述区域确定模块包括相互可通信地连接的一透射变换模块、一变化量比较模块以及一区域判定模块,其中所述透射变换模块用于根据该对应特征点的该转换矩阵,对该上一帧图像数据和该当前帧图像数据进行透射变换,以得到透射变换后的该当前帧图像数据中每一像素的光强变化量;其中所述变化量比较模块用于比较透射变换后的该当前帧图像数据中该每一像素的该光强变化量是否大于一光强阈值;其中所述区域判定模块用于将该光强变化量大于该光强阈值的像素区域判定为该当前帧图像数据的该动态区域。51.根据本技术的一实施例,所述点云投影模块包括相互可通信地连接的一激光点投影模块、一激光点判断模块以及一动态点初筛模块,其中所述激光点投影模块用于将该当前帧点云数据中的所有激光点投影至该相机的该像平面,以得到该当前帧图像数据中与该所有激光点对应的像素点;其中所述激光点判断模块用于分别判断与每一激光点对应的像素点是否处于该动态区域;其中所述动态点初筛模块用于响应于与某一激光点对应的像素点处于该动态区域内,将该某一激光点作为该潜在动态点。52.根据本技术的一实施例,所述聚类处理模块包括相互可通信地连接的一点云聚类模块、一距离计算模块以及一动态点去除模块,其中所述点云聚类模块用于对对应于不同的该动态区域的该潜在动态点分别进行聚类处理,以得到不同的点云团;其中所述距离计算模块用于根据该当前帧点云数据中的深度值,计算每个该点云团与该相机之间的平均距离;其中所述动态点去除模块用于从该当前帧点云数据中去除与该相机相距较近的该点云团内的该潜在动态点。53.根据本技术的另一方面,本技术的一实施例进一步提供了电子设备,包括:54.一处理器,用于执行程序指令;和55.一存储器,其中所述存储机被配置用于保存可由所述处理器执行以实现用于自主移动平台的去动态点方法中全部步骤或部分步骤的程序指令,其中所述用于自主移动平台的去动态点方法包括步骤:56.s100:获取经由该自主移动平台上配置的相机和雷达分别在当前帧时间戳和上一帧时间戳同时采集的图像信息和点云信息,以对应地得到当前帧图像数据,上一帧图像数据以及当前帧点云数据;57.s200:根据该自主移动平台在该当前帧时间戳和该上一帧时间戳之间的相对位姿关系,对该当前帧图像数据和该上一帧图像数据进行特征点处理,以确定该当前帧图像数据中的动态区域;58.s300:投影该当前帧点云数据至该相机的像平面,以将投影至该当前帧图像数据的该动态区域内的点云作为潜在动态点;以及59.s400:通过对该潜在动态点进行聚类处理,去除与该相机相距较近的点云团内的该潜在动态点。60.通过对随后的描述和附图的理解,本发明进一步的目的和优势将得以充分体现。61.本发明的这些和其它目的、特点和优势,通过下述的详细说明,附图和权利要求得以充分体现。附图说明62.图1是根据本发明的一实施例的用于自主移动平台的去动态点方法的流程示意图。63.图2至图5示出了根据本发明的上述实施例的所述用于自主移动平台的去动态点方法中特征点处理步骤的流程示意图。64.图6示出了根据本发明的上述实施例的所述用于自主移动平台的去动态点方法中点云投影步骤的流程示意图。65.图7示出了根据本发明的上述实施例的所述用于自主移动平台的去动态点方法中聚类处理步骤的流程示意图。66.图8是根据本发明的一实施例的用于自主移动平台的去动态点系统的框图示意图。67.图9示出了根据本发明的上述实施例的所述用于自主移动平台的去动态点系统中特征点处理模块的框图示意图。68.图10示出了根据本发明的上述实施例的所述用于自主移动平台的去动态点系统被应用于自主移动平台的一个示例。69.图11示出了根据本发明的一实施例的一电子设备的框图示意图。具体实施方式70.以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例,本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。71.在本发明中,权利要求和说明书中术语“一”应理解为“一个或多个”,即在一个实施例,一个元件的数量可以为一个,而在另外的实施例中,该元件的数量可以为多个。除非在本发明的揭露中明确示意该元件的数量只有一个,否则术语“一”并不能理解为唯一或单一,术语“一”不能理解为对数量的限制。72.在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。73.目前,现有的动态点(或动态障碍物)检测方案通常是基于栅格化地图,在时域上进行滤波,但其缺点是非常明显的:一方面,该现有方案最少需要连续三帧的点云数据才能够判断是否是动态障碍物,并且需要连续三帧数据才能够去除中间帧的动态点,无法真正地满足建图的实时性要求;另一方面,该现有方案在构图过程中,任意两帧点云都需要进行配准,如果配准的点云当中有动态点,就会明显降低配准精度,而这在配准时是不可避免的,因此现有的动态障碍物检测方法在构图中的应用并不能完全去除动态点的影响。而为了完全去除动态点对点云配准的影响,本技术提出了一种用于自主移动平台的去动态点方法及其系统和设备,其能够采用相机来弥补雷达的一些固有缺陷,例如离散化采样,不能精确匹配等问题。74.具体地,首先,使相机的采样频率与激光雷达的探测频率相同,并同步地采集图像数据和点云数据;接着,根据自主移动平台的航迹推衍结果,通过对前后帧图像上的特征点进行匹配以得到对应关系;之后,通过透射变换将一帧图像数据的每个像素与另一帧图像数据的每个像素对应,找出光强变化大的区域,则此区域中的物体即为动态物体;最后,通过将激光雷达得到的点云数据投影到相机像平面,对投影至上述区域内点云进行聚类,则前景部分即为动态点。75.值得注意的是,尽管雷达(如激光雷达等)和相机(如单目鱼眼相机或双目鱼眼相机等)都可以用来定位,但它们也都会受到动态点的影响,所以雷达和相机分别有各自的去动态点方法。特别是由于激光雷达的视场角通常为360°,而相机的视场角一般小于180°,因此现有技术并没有将两者结合来去除动态点。然而,在自主移动平台这个应用场景里,激光雷达一般会被平台主体(如车体等)遮挡住一部分视场角,使得激光雷达中剩余的视场角可以与相机的视场角基本重合,因此本技术的所述用于自主移动平台的去动态点方法能够将相机与雷达这两种传感器相结合,以达到更好的去动态点效果。76.示意性方法77.参考说明书附图之图1至图7所示,根据本发明的一实施例的一用于自主移动平台的去动态点方法被阐明。具体地,如图1所示,所述用于自主移动平台的去动态点方法,可以包括步骤:78.s100:获取经由该自主移动平台上配置的相机和雷达分别在当前帧时间戳和上一帧时间戳同时采集的图像信息和点云信息,以对应地得到当前帧图像数据,上一帧图像数据以及当前帧点云数据;79.s200:根据该自主移动平台在该当前帧时间戳与该上一帧时间戳之间的相对位姿关系,对该当前帧图像数据和该上一帧图像数据进行特征点处理,以确定该当前帧图像数据中的动态区域;80.s300:投影所述当前帧点云数据至该相机的像平面,以将投影至该当前帧图像数据的该动态区域内的点云作为潜在动态点;以及81.s400:通过对所述潜在动态点进行聚类处理,以去除与该相机相距较近的点云团内的所述潜在动态点。82.值得注意的是,在该自主移动平台上配置的该相机被实施为鱼眼相机,以便使该相机的视场角尽可能与该激光雷达的有效视场角相匹配地重合,有助于更全面地去除动态点,以便更好地建图。可以理解的是,本技术的所述鱼眼相机可以是单目鱼眼相机,也可以是双目鱼眼相机。83.此外,根据本技术的上述实施例,所述用于自主移动平台的去动态点方法的所述步骤s100中的时间戳可以但不限于被实施为所述雷达的时间戳,只需调控所述相机的采样频率以与所述雷达的探测频率相同且同步即可。当然,在本技术的其他示例中,所述所述步骤s100中的时间戳也可以被实施为所述相机的时间戳,此时则需要调控所述雷达的探测频率以与所述相机的采样频率相同且同步。84.值得一提的是,由于本技术的所述用于自主移动平台的去动态点方法的所述步骤s200需要用到该自主移动平台在该当前帧时间戳与该上一帧时间戳之间的相对位姿关系,因此本技术的所述用于自主移动平台的去动态点方法可以通过航迹推演的方式获得该自主移动平台在不同帧时间戳之间的相位位姿关系,此时就需要在所述自主移动平台上配置惯性测量单元和轮速计。当然,在本技术的其他示例中,所述用于自主移动平台的去动态点方法也可以通过视觉里程计来获得该自主移动平台在不同帧时间戳之间的相位位姿关系,此时只需要借助所述相机所采集的图像信息就能够获得该自主移动平台在不同帧时间戳之间的相位位姿关系,而不需要额外配置诸如惯性测量单元和轮速计等等之类的传感器。85.示例性地,该自主移动平台通常还可以进一步配置惯性测量单元和轮速计,以便通过经由所述惯性测量单元和所述轮速计采集的数据进行航迹推演,从而准确地获得该自主移动平台在不同帧时间戳之间的相位位姿关系。具体地,如图2所示,本技术的所述用于自主移动平台的去动态点方法的所述步骤s200,可以包括步骤:86.s210:对经由该自主移动平台上配置的惯性测量单元和轮速计采集的数据进行航迹推演,以获得该自主移动平台在该当前帧时间戳与该上一帧时间戳之间的所述相对位姿关系;87.s220:根据该自主移动平台的该相对位姿关系,对该当前帧图像数据和该上一帧图像数据进行特征点匹配,以得到该当前帧图像数据和该上一帧图像数据之间对应特征点的转换矩阵;以及88.s230:根据所述对应特征点的所述转换矩阵,通过透射变换确定该当前帧图像数据中的动态区域。89.更具体地,如图3所示,本技术的所述用于自主移动平台的去动态点方法的所述步骤s210,可以包括步骤:90.s211:获取该自主移动平台在该上一帧时间戳的位姿,以作为该自主移动平台的上一帧位姿;91.s212:对经由该惯性测量单元采集的惯性数据和经由该轮速计采集的轮速数据进行线性插值,以得到在该当前帧时间戳的轮速和角速度;以及92.s213:根据该自主移动平台的该上一帧位姿,对在该上一帧时间戳和该当前帧时间戳之间的轮速和角速度进行积分,以得到该自主移动平台的当前帧位姿,从而获得所述自主移动平台的所述相对位姿关系。93.可以理解的是,当所述上一帧时间戳为第一帧时间戳时,该自主移动平台的位姿(即位置和姿态)都为零。此外,本技术的所述自主移动平台的所述当前帧位姿被实施为所述自主移动平台在该当前帧时间戳的位姿。94.值得注意的是,在本技术的上述实施例中,由于所述惯性测量单元和所述轮速计的时间戳通常与所述雷达的时间戳并不相同、更不同步,因此本技术的所述用于自主移动平台的去动态点方法的所述步骤s212才利用线性插值的方式来获得当前帧轮速和当前帧角速度。当然,在本技术的其他示例中,当所述自主移动平台能够将所述惯性测量单元、所述轮速计、所述雷达以及所述相机的时间戳均同步时,本技术的所述用于自主移动平台的去动态点方法的所述步骤s212可以省去,仍能够获得该自主移动平台在该当前帧时间戳与该上一帧时间戳之间的所述相对位姿关系。95.根据本技术的上述实施例,如图4所示,所述用于自主移动平台的去动态点方法的所述步骤s220,可以包括步骤:96.s221:分别对该当前帧图像数据和该上一帧图像数据进行滤波处理;97.s222:对滤波后的该当前帧图像数据和该上一帧图像数据进行特征点提取处理,以得到滤波后的该当前帧图像数据和该上一帧图像数据中的每个特征点;以及98.s223:以该自主移动平台的该相对位姿关系为初值,计算出该当前帧图像数据和该上一帧图像数据之间的所述对应特征点的所述转换矩阵。99.示例性地,在本技术的所述用于自主移动平台的去动态点方法的所述步骤s221中:通过一高斯平滑滤波模型,分别对该当前帧图像数据和该上一帧图像数据进行滤波处理。100.在本技术的所述用于自主移动平台的去动态点方法的所述步骤s222中:通过fast角点提取模型,提取滤波后的该当前帧图像数据和该上一帧图像数据中的特征点,以计算出每一个特征点的orb描述子。101.在本技术的所述用于自主移动平台的去动态点方法的所述步骤s223中:通过ransc匹配模型,以该自主移动平台的该相对位姿关系为初值找出该当前帧图像数据和该上一帧图像数据之间特征点的对应关系,以获得所述对应特征点的所述转换矩阵。102.优选地,在使用所述ransc匹配模型计算所述转换矩阵的同时,所述ransc匹配模型还能够去除所述当前帧图像数据中的动态特征点,以确保所述对应特征点的所述转换矩阵的精确性。103.值得注意的是,根据本技术的上述实施例,如图5所示,所述用于自主移动平台的去动态点方法的所述步骤s230,可以包括步骤:104.s231:根据所述对应特征点的所述转换矩阵,对该上一帧图像数据和该当前帧图像数据进行透射变换,以得到透射变换后的该当前帧图像数据中每一像素的光强变化量;105.s232:比较透射变换后的该当前帧图像数据中该每一像素的光强变化量是否大于一光强阈值;以及106.s233:将光强变化量大于该光强阈值的像素区域判定为该当前帧图像数据的该动态区域。107.优选地,所述光强阈值可以根据所述自主移动平台所处的现场环境亮度进行设定。例如,当现场环境较明亮时,所述光强阈值就较大;而当现场环境较黑暗时,所述光强阈值就较小。108.值得一提的是,本技术的所述用于自主移动平台的去动态点方法利用图像信息获得的动态区域是连续的,以便利用连续的动态区域更加精确地区分出动态点和静态点的边界。而由于点云数据中的点云是离散的,因此现有技术只利用所述点云数据来去除动态点时,所获得的动态区域也是离散的,无法精确地区分出动态点和静态点的边界,导致动态点的去除精度不高。109.此外,在得到当前帧图像上的所述动态区域之后,所述用于自主移动平台的去动态点方法可以将所述当前帧点云数据中的所有激光点投影到所述相机的像平面上,以得到与所述激光点对应的像素点。如果与所述激光点对应的像素点处于所述当前帧图像上的所述动态区域内,则所述激光点有可能是动态点,即所述潜在动态点。110.示例性地,如图6所示,本技术的所述用于自主移动平台的去动态点方法的所述步骤s300,可以包括步骤:111.s310:将所述当前帧点云数据中的所有激光点投影至该相机的该像平面,以得到该当前帧图像数据中与该所有激光点对应的像素点;112.s320:分别判断与每一激光点对应的像素点是否处于该动态区域内;以及113.s330:响应于与某一激光点对应的像素点处于该动态区域内,将该某一激光点作为该潜在动态点。114.值得注意的是,由于同一个动态物体在上一帧时间戳和当前帧时间戳之间会发生运动,因此同一个动态物体通常会对应两个动态区域。换言之,所述当前帧图像数据中光强发生变化的像素区域可能是动态物体在所述当前帧时间戳下所处的位置,主要是因为所述动态物体运动至此区域而遮挡背景所产生的光强变化;同时,所述当前帧图像数据中光强发生变化的像素区域也可能是动态物体在所述上一帧时间戳下所处的位置,主要是因为所述动态物体离开此区域而暴露背景所产生的光强变化,使得所述潜在动态点并不一定是真正的动态点。因此,本技术的所述用于自主移动平台的去动态点方法需要进一步检验所述潜在动态点,以通过前景和背景的判断,来确定所述潜在动态点是否是真正的动态点,并删除被确定为真正动态点的所述潜在动态点。115.具体地,如图8所示,本技术的所述用于自主移动平台的去动态点方法的所述步骤s400,可以包括步骤:116.s410:对对应于不同的所述动态区域的所述潜在动态点分别进行聚类处理,以得到不同的点云团;117.s420:根据所述当前帧点云数据中的深度值,计算每个所述点云团与该相机之间的平均距离;以及118.s430:从所述当前帧点云数据中去除与该相机相距较近的点云团内的潜在动态点。119.示例性地,一个动态物体通常对应两个动态区域,本技术的所述用于自主移动平台的去动态点方法对所述两个动态区域内的点云分别进行聚类,就可以得到两个点云团,而这两个点云团中一个是前景(诸如障碍物的动态物体),另一个是背景。此时,本技术就可以通过计算两个所述点云团的重心来区分前景和背景,并将属于前景的点云删除,以完成去动态点的目的。可以理解的是,所述点云团的重心可以指的是所述点云团与所述相机之间的平均距离,即在所述点云数据投影至相机坐标系时,z轴值较大(即与所述相机相距较远)的点云为背景,并且z轴值较小(即与所述相机相距较近)的点云为前景。120.综上所述,本技术的所述用于自主移动平台的去动态点方法只需要利用当前帧数据和上一帧数据就能够实时地去除当前帧点云数据中的动态点,而现有技术都需要至少三帧数据,并且只能去除中间帧的动态点,导致现有技术无法实时地去除动态点。然而,对于建图而言,由于实时性是建图的必要条件,因此现有技术的动态点去除并不能适用于实时建图,难以在自主移动平台上应用。121.示意性系统122.参考说明书附图之图8至图10所示,根据本发明的一实施例的用于自主移动平台的去动态点系统被阐明,其中该自主移动平台50上配置有相机51和雷达52。具体地,如图8和图10所示,所述用于自主移动平台的去动态点系统1可以包括相互可通信地连接的一数据获取模块10、一特征点处理模块20、一点云投影模块30以及一聚类处理模块40,其中数据获取模块10用于获取经由该相机51和该雷达52分别在当前帧时间戳和上一帧时间戳同时采集的图像信息和点云信息,以对应地得到当前帧图像数据,上一帧图像数据以及当前帧点云数据;其中所述特征点处理模块20用于根据该自主移动平台50在该当前帧时间戳和该上一帧时间戳之间的相对位姿关系,对该当前帧图像数据和该上一帧图像数据进行特征点处理,以确定该当前帧图像数据中的动态区域;其中所述点云投影模块30用于投影该当前帧点云数据至该相机52的像平面,以将投影至该当前帧图像数据的该动态区域内的点云作为潜在动态点;其中所述聚类处理模块40用于通过对该潜在动态点进行聚类处理,去除与该相机52相距较近的点云团内的该潜在动态点。123.值得注意的是,在本技术的一示例中,如图9和图10所示,所述特征点处理模块20可以包括相互可通信地连接的一航迹推演模块21、一特征点匹配模块22以及一区域确定模块23,其中所述航迹推演模块21用于对经由该自主移动平台50上配置的惯性测量单元和轮速计采集的数据进行航迹推演,以获得该自主移动平台50在该当前帧时间戳与该上一帧时间戳之间的该相对位姿关系;其中所述特征点匹配模块22用于根据该自主移动平台50的该相对位姿关系,对该当前帧图像数据和该上一帧图像数据进行特征点匹配,以得到该当前帧图像数据和该上一帧图像数据之间对应特征点的转换矩阵;其中所述区域确定模块23用于根据该对应特征点的该转换矩阵,通过透射变换确定该当前帧图像数据中的动态区域。124.在本技术的一示例中,如图9和图10所示,所述航迹推演模块21包括相互可通信地连接的一位姿获取模块211、一线性插值模块212以及一速度积分模块213,其中所述位姿获取模块211用于获取该自主移动平台50在该上一帧时间戳的位姿,以作为该自主移动平台的上一帧位姿;其中所述线性插值模块212用于对经由该惯性测量单元采集的惯性数据和经由该轮速计采集的轮速数据进行线性插值,以得到在该当前帧时间戳的轮速和角速度;其中所述速度积分模块213用于根据该自主移动平台的该上一帧位姿,对在该上一帧时间戳和该当前时间戳之间的轮速和角速度进行积分,以得到该自主移动平台50的当前帧位姿,从而获得该自主移动平台50的该相对位姿关系。125.在本技术的一示例中,如图9和图10所示,所述特征点匹配模块22包括相互可通信地连接的一数据滤波模块221、一特征点提取模块222以及一矩阵计算模块223,其中所述数据滤波模块221用于分别对该当前帧图像数据和该上一帧图像数据进行滤波处理;其中所述特征点提取模块222用于对滤波后的该当前帧图像数据和该上一帧图像数据进行特征点提取处理,以得到滤波后的该当前帧图像数据和该上一帧图像数据中的每个特征点;其中所述矩阵计算模块223用于以该自主移动平台的该相对位姿关系为初值,计算出该当前帧图像数据和该上一帧图像数据之间的该对应特征点的该转换矩阵。126.在本技术的一示例中,如图9和图10所示,所述区域确定模块23包括相互可通信地连接的一透射变换模块231、一变化量比较模块232以及一区域判定模块233,其中所述透射变换模块231用于根据该对应特征点的该转换矩阵,对该上一帧图像数据和该当前帧图像数据进行透射变换,以得到透射变换后的该当前帧图像数据中每一像素的光强变化量;其中所述变化量比较模块232用于比较透射变换后的该当前帧图像数据中该每一像素的该光强变化量是否大于一光强阈值;其中所述区域判定模块233用于将该光强变化量大于该光强阈值的像素区域判定为该当前帧图像数据的该动态区域。127.在本技术的一示例中,如图8和图10所示,所述点云投影模块30包括相互可通信地连接的一激光点投影模块31、一激光点判断模块32以及一动态点初筛模块33,其中所述激光点投影模块31用于将该当前帧点云数据中的所有激光点投影至该相机的该像平面,以得到该当前帧图像数据中与该所有激光点对应的像素点;其中所述激光点判断模块32用于分别判断与每一激光点对应的像素点是否处于该动态区域;其中所述动态点初筛模块33用于响应于与某一激光点对应的像素点处于该动态区域内,将该某一激光点作为该潜在动态点。128.在本技术的一示例中,如图8和图10所示,所述聚类处理模块40包括相互可通信地连接的一点云聚类模块41、一距离计算模块42以及一动态点去除模块43,其中所述点云聚类模块41用于对对应于不同的该动态区域的该潜在动态点分别进行聚类处理,以得到不同的点云团;其中所述距离计算模块42用于根据该当前帧点云数据中的深度值,计算每个该点云团与该相机之间的平均距离;其中所述动态点去除模块43用于从该当前帧点云数据中去除与该相机相距较近的该点云团内的该潜在动态点。129.示意性电子设备130.下面,参考图11来描述根据本发明实施例的电子设备(图11示出了根据本发明实施例的电子设备的框图)。如图11所示,电子设备60包括一个或多个处理器61和存储器62。131.所述处理器61可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备60中的其他组件以执行期望的功能。132.所述存储器62可以包括一个或多个计算程序产品,所述计算程序产品可以包括各种形式的计算可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算可读存储介质上可以存储一个或多个计算程序指令,所述处理器61可以运行所述程序指令,以实现上文所述的本发明的各个实施例的方法以及/或者其他期望的功能。133.在一个示例中,如图11所示,电子设备60还可以包括:输入装置63和输出装置64,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。134.例如,该输入装置63可以是例如用于采集图像数据或视频数据的摄像模组等等。135.该输出装置64可以向外部输出各种信息,包括分类结果等。该输出设备64可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。136.当然,为了简化,图11中仅示出了该电子设备60中与本发明有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备60还可以包括任何其他适当的组件。137.示意性计算程序产品138.除了上述方法和设备以外,本发明的实施例还可以是计算程序产品,其包括计算程序指令,所述计算程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本发明各种实施例的方法中的步骤。139.所述计算程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如java、c++等,还包括常规的过程式程序设计语言,诸如c语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。140.此外,本发明的实施例还可以是计算可读存储介质,其上存储有计算程序指令,所述计算程序指令在被处理器运行时使得所述处理器执行本说明书上述方法中的步骤。141.所述计算可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。142.以上结合具体实施例描述了本发明的基本原理,但是,需要指出的是,在本发明中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本发明的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本发明为必须采用上述具体的细节来实现。143.本发明中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。144.还需要指出的是,在本发明的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。145.提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本发明。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本发明的范围。因此,本发明不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。146.本领域的技术人员应理解,上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明,在没有背离所述原理下,本发明的实施方式可以有任何变形或修改。









图片声明:本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明:本文中引用的各种信息及资料(包括但不限于文字、数据、图表及超链接等)均来源于该信息及资料的相关主体(包括但不限于公司、媒体、协会等机构)的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理!本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明:我们致力于保护作者版权,注重分享,被刊用文章因无法核实真实出处,未能及时与作者取得联系,或有版权异议的,请联系管理员,我们会立即处理,本文部分文字与图片资源来自于网络,部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益,请立即通知我们,情况属实,我们会第一时间予以删除,并同时向您表示歉意,谢谢!

相关内容 查看全部