一种基于双目视觉系统的受电弓燃弧检测方法和装置与流程 专利技术说明

计算;推算;计数设备的制造及其应用技术1.本发明涉及受电弓燃弧检测技术领域，特别是涉及一种基于双目视觉系统的受电弓燃弧检测方法和装置。背景技术：2.受电弓系统是轨道交通电气系统最重要的一个系统之一，受电弓模块安装于车辆顶部，通过运行时向上顶起与接触网直接接触，从而获取电能提供给车辆动力及其他电气系统，驱动车辆的正常运行。车辆运行时，由于接触电流的瞬时增大、受电弓碳滑板及接触线的磨损导致接触不良、轨道高度变化导致受电弓与接触线的分离短路等原因，接触点处会产生瞬时的燃弧放电现象，受电弓燃弧不光会影响车辆运行时的电流稳定及供电安全，也会产生高温灼烧碳滑板及融化接触线，对它们造成不可逆的损伤。因此，对受电弓燃弧进行全时监测，可以有效地反应弓网的运行状态，及时高效的实现故障定位和检修，保证车辆和轨道交通正常运行。3.目前，受电弓燃弧检测主要有接触式和非接触式的检测方法，接触式检测通过改装电气系统，监测受电弓电流的变化来检测燃弧。非接触式检测不改变原有电气系统和受电弓结构，分为视觉检测和紫外检测等方法。其中，视觉检测大部分通过传统的图像处理方法进行，对于背景噪音和亮度变化的的鲁棒性较弱，受到灯光、太阳光、及异物的干扰较大，误检率和漏检率都较高；近年还有一些使用了卷积神经网络的检测方法，检测率有所提高，但是由于图像基于单目固定机位相机，无法有效确定燃弧三维位置，对于本该不属于接触区域的误检率较高，或是当接触点滑至画面边缘时，由于燃弧较小无法检出，导致较高的漏检率。技术实现要素：4.本发明所要解决的技术问题是提供一种基于双目视觉系统的受电弓燃弧检测方法和装置，可以实现实时高精度的燃弧检测。5.本发明解决其技术问题所采用的技术方案是：提供一种基于双目视觉系统的受电弓燃弧检测方法，包括以下步骤：6.采用双目相机对受电弓进行拍摄，获取双目图像，所述双目图像中包括受电弓与接触网；7.将所述双目图像送入第一yolov5目标检测模型中进行目标检测，得到受电弓与接触网的接触区域，以及受电弓与接触网的接触点；8.将所述双目图像送入第二yolov5目标检测模型中进行目标检测，检测出双目图像中的燃弧火花；9.对检测出双目图像中的燃弧火花进行三维重建，得到燃弧火花在空间的三维坐标；10.基于所述燃弧火花在空间的三维坐标计算所述燃弧火花和所述受电弓与接触网的接触点的距离，并根据距离滤除错误结果。11.所述采用双目相机对受电弓进行拍摄，获取双目图像，所述双目图像中包括受电弓与接触网之后，还包括：12.使用直方图统计方法，统计所述双目图像的亮度情况，并基于所述双目图像的亮度情况对所述双目图像进行降噪，并对过曝的所述双目图像进行图像预处理。13.所述第一yolov5目标检测模型基于卷积神经网络进行构建，并通过极大极小值抑制方法消除多余检出区域的候选窗口。14.所述第一yolov5目标检测模型检测出多个受电弓与接触网的接触区域时，通过对双目图像中左右两张图的接触区域分别进行立体匹配计算，并保留立体匹配计算后受电弓与接触网的接触点正确的检出框，其中立体匹配计算的公式为：其中，z表示物体到相机中心的距离，f为双目相机的焦距，t表示两个相机的投影中心的连线的距离，xl和xr分别表示双目相机中左相机和右相机的目视差，两者相减为相机视差。15.所述第二yolov5目标检测模型中添加了自适应anchor以及小目标检测层。16.所述燃弧火花在空间的三维坐标的计算公式为：其中，x1,y1,z1为燃弧火花在空间的三维坐标，u1,v1为燃弧火花在双目相机的左相机中的坐标，u2,v2为燃弧火花在双目相机的右相机中的坐标，f为双目相机的焦距，d为双目相机的左相机和右相机的间距。17.所述的基于双目视觉系统的受电弓燃弧检测方法还包括：18.对于获取到的燃弧火花进行时序上的统计，将属于连续帧内发生的燃弧及相邻近的燃弧统计为一次燃弧火花，并输出其开始帧时间、结束帧时间以及三维坐标位置。19.本发明解决其技术问题所采用的技术方案是：还提供一种基于双目视觉系统的受电弓燃弧检测装置，包括：20.图像获取模块，用于采用双目相机对受电弓进行拍摄，获取双目图像，所述双目图像中包括受电弓与接触网；21.第一检测模块，用于将所述双目图像送入第一yolov5目标检测模型中进行目标检测，得到受电弓与接触网的接触区域，以及受电弓与接触网的接触点；22.第二检测模块，用于将所述双目图像送入第二yolov5目标检测模型中进行目标检测，检测出双目图像中的燃弧火花；23.三维重建模块，用于对检测出双目图像中的燃弧火花进行三维重建，得到燃弧火花在空间的三维坐标；24.结果滤除模块，用于基于所述燃弧火花在空间的三维坐标计算所述燃弧火花和所述受电弓与接触网的接触点的距离，并根据距离滤除错误结果。25.所述三维重建模块通过得到燃弧火花在空间的三维坐标，其中，x1,y1,z1为燃弧火花在空间的三维坐标，u1,v1为燃弧火花在双目相机的左相机中的坐标，u2,v2为燃弧火花在双目相机的右相机中的坐标，f为双目相机的焦距，d为双目相机的左相机和右相机的间距。26.所述的基于双目视觉系统的受电弓燃弧检测装置还包括统计模块，所述统计模块用于对于获取到的燃弧火花进行时序上的统计，将属于连续帧内发生的燃弧及相邻近的燃弧统计为一次燃弧火花，并输出其开始帧时间、结束帧时间以及三维坐标位置。27.有益效果28.由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明采用双目相机进行检测，由于双目相机视场角更大及覆盖范围更广，可以检出更多的燃弧，同时采用了对小目标效果更好的神经网络模型，极大降低了漏检率。本发明还使用了三维重建来还原燃弧的空间位置，只保留接触点附近的燃弧点，降低了燃弧检测的误报率，在保证高效的检出效果同时，还可以进一步输出燃弧发生的时序信息和空间信息，提高了相关维保及检修工作的效率。附图说明29.图1是本发明第一实施方式基于双目视觉系统的受电弓燃弧检测方法的流程图；30.图2是本发明第一实施方式中双目相机的安装示意图；31.图3是本发明第一实施方式中立体匹配计算原理图。具体实施方式32.下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本技术所附权利要求书所限定的范围。33.本发明的第一实施方式涉及一种基于双目视觉系统的受电弓燃弧检测方法，该方法通过在受电弓下方安装双目成像系统，实时采集交叉角度的受电弓运行图像，基于神经网络算法通过对双目成像系统获取的受电弓运行图像进行目标检测，得到受电弓与接触网的接触区域，以及受电弓与接触网的接触点，与此同时，还对双目成像系统获取的受电弓运行图像进行燃弧检测，并通过三维重建的方式得到燃弧火花的空间三维坐标，并根据得到的坐标计算燃弧火花与接触点的距离，并自适应判断燃弧火花是否属于接触区域内发生的燃弧，以此过滤不相干区域的误检情况，以达到较高燃弧准确率的目的。如图1所示，具体包括以下步骤：34.步骤1，采用双目相机对受电弓进行拍摄，获取双目图像，所述双目图像中包括受电弓与接触网。本步骤中，将双目相机安装于受电弓下方(见图2)，并进行双目相机的标定，标定获得的相机参数包括双目相机的焦距f和双目相机中左相机与右相机的间距d，完成标定后可以对对受电弓进行拍摄，获取双目图像。35.步骤2，对获取的双目图像进行预处理，本步骤中使用直方图统计方法，统计所述双目图像的亮度情况，并基于所述双目图像的亮度情况对所述双目图像进行降噪，并对过曝的所述双目图像进行图像预处理。36.步骤3，将所述双目图像送入第一yolov5目标检测模型中进行目标检测，得到受电弓与接触网的接触区域，以及受电弓与接触网的接触点。本步骤中，第一yolov5目标检测模型基于卷积神经网络进行构建，该目标检测模型还通过极大极小值抑制方法消除多余检出区域的候选窗口，使得最终检出结果尽量只保留一个接触区域的窗口，若检测结果中有多个接触区域检出，可以对双目图像的左右两张图的接触区域分别进行立体匹配计算，以保留立体匹配后接触点正确的检出框。其中，立体匹配检测原理如图3所示，计算公式为：其中，z表示物体到相机中心的距离，f为双目相机的焦距，t表示两个相机的投影中心的连线的距离，xl和xr分别表示双目相机中左相机和右相机的目视差，两者相减为相机视差。37.步骤4，将所述双目图像送入第二yolov5目标检测模型中进行目标检测，检测出双目图像中的燃弧火花。本步骤中的第二yolov5目标检测模型中添加了自适应anchor以及小目标检测层，因此对于不同尺度的目标特别是像燃弧火花这样的小目标有更好的准确率。38.步骤5，对检测出双目图像中的燃弧火花进行三维重建，得到燃弧火花在空间的三维坐标。本步骤中，假设某个燃弧火花在双目相机的左相机中的坐标为(u1,v1)，在右相机中的坐标为(u2,v2)，那么可以通过计算出燃弧火花在空间中的三维坐标，其中，x1,y1,z1为燃弧火花在空间的三维坐标。39.步骤6，基于所述燃弧火花在空间的三维坐标计算所述燃弧火花和所述受电弓与接触网的接触点的距离，并根据距离滤除错误结果。获取到燃弧火花的坐标后，可以进一步计算出该燃弧火花和受电弓与接触网的接触点的真实距离，并通过预设好的距离阈值，判断检出的该燃弧火花是否在受电弓与接触网的接触区域，如果不在受电弓与接触网的接触区域内，则可以将该燃弧火花进行滤除，从而将错误的检出结果排除。40.步骤7，对于获取到的燃弧火花进行时序上的统计，将属于连续帧内发生的燃弧及相邻近的燃弧统计为一次燃弧火花，并输出其开始帧时间、结束帧时间以及三维坐标位置。41.不难发现，本发明采用双目相机进行检测，由于双目相机视场角更大及覆盖范围更广，可以检出更多的燃弧，同时采用了对小目标效果更好的神经网络模型，极大降低了漏检率。本发明还使用了三维重建来还原燃弧的空间位置，只保留接触区域附近的燃弧点，降低了燃弧检测的误报率，在保证高效的检出效果同时，还可以进一步输出燃弧发生的时序信息和空间信息，丰富了，提高了相关维保及检修工作的效率。42.本发明的第二实施方式涉及一种基于双目视觉系统的受电弓燃弧检测装置，包括：43.图像获取模块，用于采用双目相机对受电弓进行拍摄，获取双目图像，所述双目图像中包括受电弓与接触网；44.第一检测模块，用于将所述双目图像送入第一yolov5目标检测模型中进行目标检测，得到受电弓与接触网的接触区域，以及受电弓与接触网的接触点；45.第二检测模块，用于将所述双目图像送入第二yolov5目标检测模型中进行目标检测，检测出双目图像中的燃弧火花；46.三维重建模块，用于对检测出双目图像中的燃弧火花进行三维重建，得到燃弧火花在空间的三维坐标；47.结果滤除模块，用于基于所述燃弧火花在空间的三维坐标计算所述燃弧火花和所述受电弓与接触网的接触点的距离，并根据距离滤除错误结果。48.所述第一yolov5目标检测模型基于卷积神经网络进行构建，并通过极大极小值抑制方法消除多余检出区域的候选窗口。49.所述第一yolov5目标检测模型检测出多个受电弓与接触网的接触区域时，通过对双目图像中左右两张图的接触区域分别进行立体匹配计算，并保留立体匹配计算后受电弓与接触网的接触点正确的检出框，其中立体匹配计算的公式为：其中，z表示物体到相机中心的距离，f为双目相机的焦距，t表示两个相机的投影中心的连线的距离，xl和xr分别表示双目相机中左相机和右相机的目视差，两者相减为相机视差。50.所述第二yolov5目标检测模型中添加了自适应anchor以及小目标检测层。51.所述三维重建模块通过得到燃弧火花在空间的三维坐标，其中，x1,y1,z1为燃弧火花在空间的三维坐标，u1,v1为燃弧火花在双目相机的左相机中的坐标，u2,v2为燃弧火花在双目相机的右相机中的坐标，f为双目相机的焦距，d为双目相机的左相机和右相机的间距。52.所述的基于双目视觉系统的受电弓燃弧检测装置还包括统计模块，所述统计模块用于对于获取到的燃弧火花进行时序上的统计，将属于连续帧内发生的燃弧及相邻近的燃弧统计为一次燃弧火花，并输出其开始帧时间、结束帧时间以及三维坐标位置。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!