一种基于双时空约束的相关滤波目标跟踪方法
技术领域
本发明属于图像处理
技术领域
,具体涉及一种目标跟踪技术。背景技术
视觉目标跟踪是计算机视觉的重要组成部分,是视频监控、智慧交通、机器人视觉、自动驾驶、精确制导等领域的关键技术之一。给定目标在初始帧中的位置信息,在后续帧中准确估计出目标的运动轨迹。因为目标在运行过程中可能存在光照变化、运动模糊、形变、尺度变化、旋转、遮挡等因素,所以在复杂场景中准确跟踪目标十分困难。
基于相关滤波的目标跟踪方法,是目前效果较好、速度较快,且应用广泛的目标跟踪方法。通过循环移位以目标为中心的矩形框,得到稠密采样的样本,通过求解带正则约束项的线性回归目标函数,获取相关滤波器。
目前已知的相关滤波模型,大多直接对滤波器进行约束,忽略了约束样本。好样本和坏样本在模型中具有相同权重,模型失去了选择样本信息的能力。
发明内容
本发明为了解决现有技术存在耗时、跟踪精度低的问题,提出了一种基于双时空约束的相关滤波目标跟踪方法,为基于视频跟踪的计算机视觉应用提供核心技术支撑,为了实现上述目的,本发明采用了以下技术方案。
基于双时空约束构建相关滤波模型的函数
获取相关滤波器;
在当前图像帧中,以跟踪到的目标位置为中心,截取矩形区域,提取该区域的HOG特征,作为训练样本,初始化跟踪器;
构建回归量权重图,抑制干扰样本响应,更新自适应调节因子;
将提取的训练样本特征输入模型,在傅里叶域采用ADMM算法快速求解模型,更新相关滤波器;
以当前帧中的目标位置为矩形中心,在下一帧图像中截取具有不同缩放因子的矩形区域,作为搜索区域,提取搜索区域的HOG特征,对该HOG特征进行傅里叶变换,然后与更新后的相关滤波器进行快速匹配计算,获取滤波响应图,采用牛顿迭代法,获取响应图中的最大响应位置,作为跟踪到的目标位置,对应的尺度缩放因子,作为当前估计到的目标的尺度缩放因子;
重复提取HOG特征、更新调节因子、更新滤波器、跟踪目标位置、估计缩放因子以连续跟踪目标。
进一步的,设定当wr中元素取1时,对应样本的回归量添加时间约束;当样本是强干扰时,对应的元素取0,抑制对应样本的回归响应。
进一步的,设定和采用A(psr)动态调整回归量的时空约束力度,若psr较小,说明目标置信度不高,则减小A(psr)以降低约束力度,减小当前样本对滤波器的影响,否则增大A(psr)。
本发明的有益效果:提出双时空约束相关滤波模型,给不同样本添加不同约束,使模型更稳定,能学习更鲁棒的相关滤波器,实现了快速高精度跟踪,为基于视频跟踪的计算机视觉应用提供核心技术支撑,结果更准确,增加的运算量极少,在傅里叶域计算,运行速度快。
附图说明
图1是本方法的流程图,图2是滤波模型的目标函数。
具体实施方式
以下结合附图对本发明的技术方案做具体的说明。
本方法对滤波器和回归量进行时空约束,通过最优化模型的目标函数,求解模型,得到更新后的相关滤波器,在回归量上添加“0-1”二值掩模,实现对样本时间约束的“关-开”操作,对不同样本添加不同约束。
具体实施步骤如图1所示:建立滤波模型的目标函数,如图2所示其中*表示循环卷积,·表示按元素乘积,是训练样本第c通道HOG特征,f是要学习的滤波器,wc是滤波器权重图,它给fc对应的目标区域赋予低权重(1e-3),给背景区域赋予高权重(1e5),从而抑制背景,wr是回归量权重图,控制每个样本回归量的约束方式,c是特征通道序号,t-1和t表示视频中图像序号,ρ是约束因子,在本实施例中取15,y是期望输出,是一个二维高斯分布,A(psr)是自适应调节因子。
目标函数的第二项是对滤波器的空间约束,解决相关滤波中的边界问题;第三项是滤波器时间约束项,使滤波器在线更新;第四项中的wr对回归量进行空间约束,当wr中元素取0时,抑制对应样本的回归响应,当wr中元素取1时,对应样本的回归量被添加时间约束,使学习的滤波器更具鲁棒性。
在当前图像帧中,截取以目标位置为中心的矩形图像区域,矩形区域面积为目标面积的5倍,提取该图像区域的HOG(Histogram of Oriented Gradient)特征作为训练样本。
构建回归量权重图wr,更新自适应调节因子A(psr),当wr中元素取1时,对应样本的回归量被添加时间约束,使学习的滤波器更具鲁棒性;当样本是强干扰时,始终希望干扰样本得到抑制,此时wr中干扰样本对应的元素应该取0,抑制对应样本的回归响应;干扰样本不是目标,却拥有较高回归响应的样本,会对目标跟踪造成干扰。
wr的计算如其中(i,j)表示二维位置标记,vmax是v中最大值,w和h是目标在图像中的宽和高,&表示与操作。
自适应调节因子A(psr)是峰值旁瓣比的函数其中是滤波响应图,max(v)是v的最大值,μ(v)是v的均值,σ(v)是v的标准差;pmean是历史帧中psr的均值,λ和ε是缩放因子,本实施例分别取0.6和7,τ是偏置因子,取0.5。
A(psr)动态调整回归量的时空约束力度,当psr较小,说明目标置信度不高,调小A(psr)降低约束力度,减小当前样本对滤波器造成的影响;当psr较大,说明目标置信度高,增加A(psr),使模型学到更鲁棒的滤波器。
通过ADMM算法对模型进行快速求解,目标函数是凸优化问题,定义辅助变量h=ft,令等于yst,目标函数的增广拉格朗日形式为其中s是拉格朗日乘子,η是惩罚因子,控制增广拉格朗日方法的收敛速度,令转换为迭代求解f,h和p三个子问题得到最优解。
子问题形式 利用帕塞伐尔定理Parseval’s theorem,f可以转换到傅里叶域求解其中上标^表示离散傅里叶变换,令表示在第i个位置沿着特征通道方向取出的特征向量,是对应的期望输出,子问题f转换为M×N个独立的子问题,其中M×N是特征尺寸,子问题f转变为对求导,令倒数为零,得到的封闭解和其中I是单位矩阵,采用Sherman-Morrsion公式转化进一步减少计算量,得到利用矩阵乘法的结合律,只包含向量内积和加法运算,计算量减小。
子问题h的各元素的求解相互独立,求导令倒数为零,得到每个通道的封闭解除号表示按元素除,每次迭代后,惩罚因子η的更新方式为η(i+1)=min(ηmax,εη(i)),其中ηmax表示最大值,ε是尺度因子,本实施例分别取100和10,η的初始值取1,按照相似方式通过迭代求解,得到最后的f。
以当前帧中目标位置为矩形中心,在下一帧图像中截取拥有不同缩放因子的矩形图像区域作为搜索区域,并提取搜索区域的HOG特征zs,其中s∈{1,2,3,4,5}代表五个缩放因子,利用学到的滤波器在傅里叶域与搜索区域特征进行快速匹配计算,得到滤波响应图。
通过牛顿迭代法找到响应图中最大响应位置即为跟踪到的目标位置,最大响应对应的尺度缩放因子即为当前估计到的目标的尺度缩放因子,得到滤波器对zs进行傅里叶变换得到通过得到滤波响应图,由于HOG特征在原始像素尺度上以网格为单位进行提取,本实施例取网格长宽为4,得到的响应图只是在网格点上的响应,并不是每个像素点上的响应。
采取插值方式,得到亚像素级的位置响应找到响应图最大值所在位置,以此位置为初始估计,利用牛顿迭代法找到最大响应位置,实验发现,只需少数几次迭代算法,就能达到收敛,找到最佳目标位置,在5个尺度缩放因子上找到最大响应对应的尺寸缩放因子,作为当前估计到的目标的尺寸缩放因子。
重复上述步骤,就可以连续跟踪目标。
上述作为本发明的实施例,并不限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均包含在本发明的保护范围之内。
- 上一篇:石墨接头机器人自动装卡簧、装栓机
- 下一篇:图像跟踪方法、装置、存储介质及电子设备