一种基于双模型竞争机制的相关滤波跟踪方法 专利技术说明

计算;推算;计数设备的制造及其应用技术1.本发明属计算机视觉领域，涉及一种目标跟踪方法，具体涉及一种基于双模型竞争机制的相关滤波跟踪方法。背景技术：2.目标跟踪是计算机视觉领域的重要研究内容，在视频监控、自动驾驶、智能机器人、人机交互等方面具有广泛的应用价值。经过近十余年的快速发展，目标跟踪技术已经取得了长足的进步。但是，由于受到光照变化、目标形变、运动模糊、遮挡等多种干扰因素的影响，实现鲁棒的在线跟踪仍然是一项极具挑战性的任务。3.文献“learning background-aware correlation filters for visual tracking,ieee international conference on computer vision,2017:1135-1143”提出的背景感知相关滤波跟踪方法(简称bacf)利用一个掩膜矩阵在大的搜索区域内对样本进行裁剪，将得到的真实背景作为负样本来训练滤波器，从而有效地解决了传统相关滤波跟踪方法中由循环采样而导致的边界效应问题。虽然bacf取得了令人瞩目的跟踪性能，但依然存在以下两点缺陷：首先，bacf仅使用单一的hog特征对目标进行表观建模，特征表达能力有限；其次，bacf在每一帧采用固定方式进行单向的模型更新以适应目标在运动过程中的外观变化，但在应对复杂环境或长时跟踪场景时易由遮挡、目标运动出视野等因素导致模型漂移。因此，bacf跟踪方法在特征表达和抑制模型漂移方面仍有一定的改进空间。技术实现要素：4.为改进现有技术的不足，本发明设计了一种基于双模型竞争机制的相关滤波跟踪方法，解决背景感知相关滤波器存在的特征表达能力不足和模型漂移问题，在保证实时跟踪速度的同时，提高跟踪器在复杂环境下的跟踪稳定性。5.技术方案6.一种基于双模型竞争机制的相关滤波跟踪方法，其特征在于步骤如下：7.步骤1：从视频序列中读取第一帧的图像数据以及待跟踪目标的初始位置信息[a(1),b(1),w,h]，其中a和b表示目标中心点的横坐标和纵坐标，w和h表示目标的宽和高，上标(1)表示第一帧；[0008]步骤2：截取以点(a(1),b(1))为中心、边长为的正方形区域对应的图像块，将其从rgb空间转化到hsv颜色空间，对hsv空间的三个通道分别提取31维的hog特征，并将所有hog特征拼接起来组成一个93维的特征向量，再通过pca技术进行特征降维，降维后得到特征通道数为k的特征向量x，k设定为60，则目标静态模板xstatic＝x，初始化目标在第一帧的动态模板[0009]步骤3：在时域空间，通过求解以下目标函数计算背景感知相关滤波器h：[0010][0011]式中，y表示预期的相关滤波响应输出，预定义为高斯函数分布，k是通道索引，*表示相关操作，p是一个二值对角矩阵，其作用是让相关操作直接作用到真实的前景和背景上，τ表示向量或矩阵的复共轭，λ为正则化参数，λ设定为0.001，式(1)可使用帕斯瓦尔定理转换到频域进行快速计算，即其在频域空间的等价形式为：[0012][0013][0014]式中，是一个辅助变量，^表示对一个变量的离散傅里叶变换，⊙表示对应元素相乘，f是一个标准正交的t×t矩阵，用于把任意t维的复基向量映射到频域，式(2)可通过建立增广拉格朗日方程并利用交替方向乘子法(alternating direction method of multipliers，admm)进行迭代求解，求解后得到的即作为静态滤波器，再初始化第一帧时的动态滤波器[0015]步骤4：读取下一帧图像，即第t帧图像，截取以上一帧的目标中心点(a(t-1),b(t-1))为中心、边长为l的正方形区域对应的图像块，在该图像块上按照步骤2中方法进行特征提取，得到一个特征通道数为k的特征向量x(t)，经过傅里叶变换后，其第k个通道的特征向量为[0016]步骤5：利用式(3)计算静态滤波器和动态滤波器在第t帧的相关滤波响应图和[0017][0018]式中，表示傅里叶逆变换，表示上一帧第k个通道的动态滤波器；[0019]步骤6：相关滤波响应图的表现形式为一个二维矩阵，对于任意一个m×n的响应图r，其置信度s可计算如下：[0020][0021]式中，max(r)和min(r)分别表示响应图r中的最大值和最小值，利用式(4)可分别计算得到响应图和的置信度和[0022]步骤7：当式(5)条件成立时，则确定当前帧跟踪结果的主导模型为动态模型：[0023][0024]式中，α为平衡因子，α设定为0.84，当不满足式(5)条件时，则当前帧的主导模型为静态模型；[0025]步骤8：将步骤7中确定的主导模型响应图中最大值对应的坐标位置作为当前帧新的目标中心，记为点(a(t),b(t))，即目标在第t帧的预测位置为以点(a(t),b(t))为中心、w为宽、h为高的矩形区域；[0026]步骤9：根据新的目标中心点(a(t),b(t))，再次按照步骤2中方法进行特征提取，得到的特征向量记为并利用式(6)计算更新后的目标动态模板[0027][0028]式中，β为学习率，β设定为0.0125；[0029]步骤10：将代入到步骤3中的式(1)和式(2)中替换xk，按照步骤3中方法再次求解式(2)，得到新的动态滤波器[0030]步骤11：判断是否处理完视频中所有的图像帧，若处理完则算法结束，否则转步骤4继续执行。[0031]有益效果[0032]本发明以背景感知相关滤波跟踪框架为基础，设计了一种基于双模型竞争机制的相关滤波跟踪方法。一方面，通过融合颜色特征和hog特征，并结合特征降维技术构造了一种适用于相关滤波框架的特征描述子，该特征描述子用于滤波器的学习可有效地提升模型的特征表达能力和抗干扰能力。另一方面，基于静态模型和动态模型交互作用的方式设计了一种双模型竞争机制，使得动态模型能够根据跟踪结果自适应地进行正向或逆向的更新操作，能够有效地抑制由遮挡等干扰因素导致的模型漂移问题。[0033]优越性：相比较于基础跟踪方法bacf，本发明在特征表达和抑制模型漂移两方面的改进措施显著地提升了跟踪器在应对光照变化、目标形变、运动模糊、遮挡、目标运动出视野等复杂环境时的跟踪准确性和鲁棒性，在otb2015、tinytlp、uav20l等多个公开数据集上展现出了优越的整体性能，且在通用的桌面端cpu支持下能够达到45帧/秒的实时跟踪速度。附图说明[0034]图1：基于双模型竞争机制的相关滤波跟踪方法流程图具体实施方式[0035]现结合实施例、附图，对本发明作进一步描述：[0036]步骤1从视频序列中读取第一帧的图像数据以及待跟踪目标的初始位置信息[a(1),b(1),w,h]，其中a和b表示目标中心点的横坐标和纵坐标，w和h表示目标的宽和高，上标(1)表示第一帧。[0037]步骤2截取以点(a(1),b(1))为中心、边长为的正方形区域对应的图像块，将其从rgb空间转化到hsv颜色空间，对hsv空间的三个通道分别提取31维的hog特征，并将所有hog特征拼接起来组成一个93维的特征向量，再通过pca技术进行特征降维，降维后得到特征通道数为k的特征向量x，k设定为60，则目标静态模板xstatic＝x，初始化目标在第一帧的动态模板[0038]步骤3在时域空间，通过求解以下目标函数计算背景感知相关滤波器h：[0039][0040]式中，y表示预期的相关滤波响应输出，预定义为高斯函数分布，k是通道索引，*表示相关操作，p是一个二值对角矩阵，其作用是让相关操作直接作用到真实的前景和背景上，t表示向量或矩阵的复共轭，λ为正则化参数，λ设定为0.001，式(1)可使用帕斯瓦尔定理转换到频域进行快速计算，即其在频域空间的等价形式为：[0041][0042][0043]式中，是一个辅助变量，^表示对一个变量的离散傅里叶变换，⊙表示对应元素相乘，f是一个标准正交的t×t矩阵，用于把任意t维的复基向量映射到频域，式(2)可通过建立增广拉格朗日方程并利用交替方向乘子法(alternating direction method of multipliers，admm)进行迭代求解，求解后得到的即作为静态滤波器，再初始化第一帧时的动态滤波器[0044]步骤4读取下一帧图像，即第t帧图像，截取以上一帧的目标中心点(a(t-1),b(t-1))为中心、边长为l的正方形区域对应的图像块，在该图像块上按照步骤2中方法进行特征提取，得到一个特征通道数为k的特征向量x(t)，经过傅里叶变换后，其第k个通道的特征向量为[0045]步骤5利用式(3)计算静态滤波器和动态滤波器在第t帧的相关滤波响应图和[0046][0047]式中，表示傅里叶逆变换，表示上一帧第k个通道的动态滤波器。[0048]步骤6相关滤波响应图的表现形式为一个二维矩阵，对于任意一个m×n的响应图r，其置信度s可计算如下：[0049][0050]式中，max(r)和min(r)分别表示响应图r中的最大值和最小值，利用式(4)可分别计算得到响应图和的置信度和[0051]步骤7当式(5)条件成立时，则确定当前帧跟踪结果的主导模型为动态模型：[0052][0053]式中，α为平衡因子，α设定为0.84，当不满足式(5)条件时，则当前帧的主导模型为静态模型。[0054]步骤8将步骤7中确定的主导模型响应图中最大值对应的坐标位置作为当前帧新的目标中心，记为点(a(t),b(t))，即目标在第t帧的预测位置为以点(a(t),b(t))为中心、w为宽、h为高的矩形区域。[0055]步骤9根据新的目标中心点(a(t),b(t))，再次按照步骤2中方法进行特征提取，得到的特征向量记为并利用式(6)计算更新后的目标动态模板[0056][0057]式中，β为学习率，β设定为0.0125。[0058]步骤10将代入到步骤3中的式(1)和式(2)中替换xk，按照步骤3中方法再次求解式(2)，得到新的动态滤波器[0059]步骤11判断是否处理完视频中所有的图像帧，若处理完则算法结束，否则转步骤4继续执行。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!