用于无人机视频目标追踪的数据增强方法 专利技术说明

计算;推算;计数设备的制造及其应用技术1.本发明属于无人机监管与追踪技术领域，具体涉及用于无人机视频目标追踪的数据增强方法。背景技术：2.目标追踪技术是一种根据给定的图像或视频序列对物体进行持续定位与识别并形成完整轨迹的技术。目标追踪技术在自动驾驶，人机交互，交通路段监控等领域有着重要应用。无人机技术的快速发展使得无人机趋近于小型化，轻量化，推动了无人机在农业，侦察，航空摄影等领域的应用，引起了无人机数量的快速增长，同时也增加了无人机的监管难度。然而，使用人力对无人机进行监管费时费力，如果能利用多目标追踪技术和监控摄像头从视频中自动识别进入监控区域内的无人机并进行持续跟踪，则能够有效且低成本地对无人机进行管控。因此，使用目标追踪技术对无人机目标进行自动识别与持续跟踪具备重要意义。深度学习技术近年来在图像识别领域取得了重大进步，基于深度学习的目标追踪技术同样取得了迅速的发展，与人工设计特征的方法相比具备精度和速度的优势。然而，现有深度学习目标追踪方法依赖大量标注数据的训练来获得良好表现，而目标追踪数据标注成本较高，导致了现有目标追踪数据集较为稀缺，从而限制了算法的表现。如果能利用数据增强技术来有效地扩充无人机目标追踪数据集，则能够大大提升无人机目标追踪的精度。技术实现要素：3.本发明的目的在于提供一种有效地提升无人机目标追踪精度的无人机视频目标追踪的数据增强方法。4.本发明的提供用于无人机视频目标追踪的数据增强方法，综合考虑了无人机目标追踪任务的特点，包括：无人机运动速度快、无人机目标运动时需要向运动方向倾斜一定角度、无人机告诉运动带来运动模糊的特点。针对无人机追踪目标，进行一定的参数调整，能够快速拓展到其他目标的数据增强任务上。5.本发明针对无人机目标在视频中运动的三个特点：无人机目标运动速度快，无人机目标运动时需要向运动方向倾斜，无人机目标高速运动带来运动模糊，设计数据增强方法。6.本发明的用于无人机视频目标追踪的数据增强方法，以无人机掩膜图像为基础，通过指定运动条件来模拟无人机的高速运动，通过随机旋转来模拟无人机运动过程中向运动方向倾斜的姿态，通过随机模糊来模拟无人机运动过程中的运动模糊。所述指定运动条件是指人为地设定当前时刻运动速度，然后根据运动速度计算下一时刻无人机位置。所述随机旋转根据二维平面旋转公式将无人机掩膜图像旋转一个随机角度来得到。所述随机模糊根据高斯核函数对无人机掩膜图像进行卷积来得到。具体步骤如下。7.s1：采集无人机目标的图像若干，构建无人机目标图像库；无人机目标图像指图像内包含无人机的图像。8.s2：提取无人机目标图像中的无人机轮廓；对无人机轮廓的提取可以使用开源标记软件例如labelme来实现；勾绘出的轮廓以每个关键点的坐标按顺序进行存储。9.s3：根据步骤s2构绘到的轮廓，提取无人机掩膜图像；利用s2步骤勾绘的轮廓，结合 opencv开源代码库中勾绘多边形的函数，能够轻易地提取出无人机掩膜图像；提取到的无人机掩膜图像，其无人机区域保持原始像素值，非无人机区域像素值为0。10.s4：采集视频若干，构建原始视频库；采集到的视频为自然场景下使用普通摄像头拍摄的视频，视频内可以包括无人机目标，也可以不包括。11.s5：对步骤s3提取到的无人机掩膜图像进行旋转变换；旋转变换同样可以使用开源代码库opencv来实现；对无人机掩膜进行旋转的目的是模拟无人机在往某个方向运动时必须向该方向倾斜的特点。12.s51：生成一个[-45,45]之间的随机数θ，作为旋转角度；随机数生成可以使用python 自带的random库实现；随机生成的旋转角度能够大大增加生成的无人机模拟目标的丰富度，从而提高模型的鲁棒性。[0013]s52：对步骤s3获得的无人机掩膜图像进行旋转θ角的变换，变换公式如下：[0014]xdst＝xsrccosθ+ysrcsinθ，(1)[0015]ydst＝-xsrcsinθ+ysrccosθ，(2)[0016]其中，(xsrc,ysrc)分别为变换前横纵坐标，(xdst,ydst)分别为变换后横纵坐标。[0017]s6：对步骤s5得到的无人机掩膜图像进行高斯模糊；对掩膜图像进行高斯模糊的操作可以使用opencv库来实现。高斯模糊的作用是模拟无人机在运动过程中产生的运动模糊，从而增加模型对运动模糊的适应程度。[0018]s61：根据卷积核窗口大小计算高斯核函数，公式如式3所示：[0019][0020]其中，σ为高斯核函数的标准差，设定为[1,4]区间内的随机数。[0021]s62：使用步骤s61计算好的高斯函数模板对步骤s3获得的无人机掩膜图像进行卷积，公式如式4所示：[0022][0023]其中，g为步骤s61计算得到的高斯核函数，f(x,y)表示原始无人机图像在(x,y)位置上的像素值。[0024]s7：对步骤s4得到的原始视频库中的每一个视频，按时间顺序遍历视频中的每一帧，将步骤s6得到的无人机掩膜覆盖到原始视频中的指定位置，得到增强后的无人机目标追踪视频。该步骤是生成无人机增强数据的最终步骤。[0025]s71：根据无人机上一时刻位置以及运动速度，计算出无人机在当前视频帧应该所处的位置，计算公式如下：[0026]st＝st-1+vtꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(5)。[0027]s72：根据步骤s6得到的无人机图像大小以及s71步骤得到的无人机位置，判断当前位置是否触碰到视频当前帧图像的边缘。如果发生触碰，则将位置修正为刚好与边缘相接，将速度设置为与原来相反。[0028]s73：遍历视频的每一帧，重复步骤s71、步骤s72。[0029]本发明综合考虑无人机在日常生活中的快速运动特征，无人机在运动时向飞行方向倾斜的特征，无人机运动造成在视频中出现运动模糊的特征，能够很好地生成逼真的无人机视频目标追踪数据。本发明可应用于无人机追踪任务的数据采集过程；亦可应用在其他类别的目标追踪数据集制作过程。该数据增强算法主要针对无人机视频多目标追踪任务，能够有效针对深度学习有监督方法数据稀缺的问题，快速生成更多的有监督训练数据。同时通过更改参数，可快速推广至其它类别的目标追踪数据增强任务上。该发明方法快速、有效、可拓展性强。[0030]本发明通过对主流的多目标追踪方法和无人机目标追踪数据集进行训练与测试，表明该方法能够在dronezz,antiuav2020，antiuav2021数据集上对包括 deepsort,fairmot,siammot,bytetrack在内的主流多目标追踪方法带来稳定的精度提升。[0031]本发明方法是一种离线的数据增强方法，不会引入任何模型上的开销，是一种简单、高效的目标追踪数据增强方法。附图说明[0032]图1为本发明的无人机目标追踪数据增强流程图。[0033]图2为本发明的无人机目标追踪数据增强效果图。具体实施方式[0034]下面结合附图和实施例，对本发明作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。[0035]在以下具体实施例的说明中，为了清楚展示本发明的结构及工作方式，将借助诸多方向性词语进行描述，但是应当将“前”、“后”、“左”、“右”、“外”、“内”、“向外”、“向内”、“轴向”、“径向”等词语理解为方便用语，而不应当理解为限定性词语。[0036]图1展示了本发明提出的无人机目标追踪数据增强方法整体流程图。如图1所示，本发明提出的无人机目标追踪数据增强方法主要包括以下几个步骤：[0037]步骤一：采集无人机目标图像；[0038]步骤二：提取无人机目标在图像中的轮廓；[0039]步骤三：根据步骤二得到的轮廓，提取无人机掩膜图像；[0040]步骤四：对掩膜进行旋转变换；[0041]步骤五：对掩膜进行高斯模糊；[0042]步骤六：根据运动规则计算在原始视频中插入无人机的位置；[0043]步骤七：将增强后的无人机图像插入到步骤六计算出的位置上，获得增强后的无人机视频。[0044]其中，步骤一所述的采集无人机目标图像，要求采集者保证采集过程的标准，尽量保证录入无人机目标图像库中的图像特征正常。无人机目标图像指的是图像范围内包含无人机目标的图像，而不是使用无人机拍摄的图像。图像中的无人机目标应该能够在人类肉眼可分辨的范围之内。如果无人机目标在图像中过小或者与背景环境难以区分导致人眼无法正常识别，则需要重新进行无人机图像的采集。[0045]其中，步骤二所述的提取无人机目标在图像中的轮廓，要求使用相关的图像标注软件(例如labelme)对无人机轮廓上的关键点进行勾绘，勾绘完成后由标注软件对所有关键点按照勾绘顺序进行存储，以备后续使用。[0046]其中，步骤三所述的提取无人机掩膜图像，应当首先按照步骤二中勾绘的无人机关键点集合计算出无人机的边界框坐标，按照无人机边界框坐标在原始图像上提取出无人机局部图像。然后根据关键点集合将无人机目标区域内图像像素值进行保留，将区域外像素值置为0，从而方便后续在视频中通过图像相加的方式将无人机目标插入到视频。[0047]其中，步骤四所述的对掩膜进行旋转变换，首先要使用编程语言内置的随机数相关函数库生成一个范围在[-45，45]之间的夹角θ，然后根据生成的夹角对无人机掩膜图像进行旋转变换，旋转变换公式如下：[0048]xdst＝xsrccosθ+ysrcsinθ，(1)[0049]ydst＝-xsrcsinθ+ysrccosθ，(2)[0050]其中，(xsrc,ysrc)分别为变换前横纵坐标，(xdst,ydst)分别为变换后横纵坐标；[0051]其中，步骤五所述的对掩膜图像进行高斯模糊，首先要根据给定的卷积核窗口大小和标准差计算出高斯模糊卷积核，然后使用该卷积核与掩膜图像进行卷积运算。[0052]根据卷积核窗口大小计算高斯核函数的公式如式3所示：[0053][0054]其中，σ为高斯核函数的标准差，设定为[1,4]区间内的随机数。[0055]使用步骤计算好的高斯函数模板对无人机掩膜图像进行卷积的公式如式4所示：[0056][0057]其中，g为上一步计算得到的高斯核函数，f(x,y)表示原始无人机图像在(x,y)位置上的像素值。[0058]其中，步骤六所述的根据运动规则计算在原始视频中插入无人机的位置，通常使用线性运动的规则来计算无人机位置。无人机初始位置根据随机数给出，无人机下一时刻位置根据上一时刻位置加上无人机的速度v得到。无人机速度v在合理范围内根据随机数生成。[0059]其中，步骤七所述的将增强后的无人机图像插入到步骤六计算出的位置上，获得增强后的无人机视频，通常可以将当前经过旋转变换和高斯模糊增强后的无人机掩膜图像和当前要插入的图像在步骤六计算得到的位置上相加，即可得到插入了增强无人机的视频当前帧图像。[0060]本方法根据给定的运动规则将增强后的无人机图像插入到原始视频中，获得包含更多无人机对象，且特征更加复杂的无人机视频目标追踪数据集，有效地提升了深度学习无人机视频目标追踪的精度。[0061]图2为本发明的无人机目标追踪数据增强效果图。对原始无人机掩膜图像进行随机旋转，随机模糊，并按照预设轨迹增加到原图像上。经过增强后的数据集从原来的只包含一个无人机变成了包含多个无人机，并且额外增加的无人机添加了旋转姿态和动态模糊。[0062]以上所述仅是本技术的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本技术的保护范围。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!