CVPR 论文在此
文章全称：Learning Attentions: Residual Attentional Siamese Network for High Performance Online Visual Tracking
论文作者在知乎也进行了详细的介绍：/p/34222060
RASNet使用三个attention机制对SiamFC特征的空间和channel进行加权，分解特征提取和判别性分析的耦合，用来提升判别能力。
##摘要
最近目标跟踪中通过离线训练的方式来平衡跟踪的精度和速度，显示出了巨大的潜力。然而在在线跟踪中，离线训练出的模型很难适应不同的跟踪目标。作者提出了残差注意力孪生网络（Residual Attentional Siamese Network），简称RASNet，用来高性能的目标跟踪。这个网络模型在孪生网络的框架下重新建立相关滤波器，并且引入了几种不同的注意力机制来适应模型，而不是通过模型的在线更新。也就是说，通过利用离线训练好的general attention,residual attention和channel attention这三个注意力模型，RASNet不仅能够减小深度网络训练中的过拟合问题，还能够提高网络的判别能力和自适应力。作者提出的网络可以端到端训练，充分利用了跟踪序列丰富的时空信息来获得鲁棒的视觉跟踪。作者在最新的两个评价基准上进行实验，OTB和VOT，表明了RASNet跟踪器有着优越的精度，并且速度超过了80fps。
作者基于SiameseFC结构，提出了新的网络结构如下：
最终响应，也就是weighted cross correlation function，如下：
fp′,q′=∑i=0m−1∑j=0n−1∑c=0d−1γi,j,cϕi,j,c(z)ϕp′+i,q′+j,c(x)+bf_{p',q'}=\sum_{i=0}^{m-1}\sum_{j=0}^{n-1}\sum_{c=0}^{d-1}\gamma _{i,j,c}\phi _{i,j,c}(z )\phi _{p'+i,q'+j,c}( x )+bfp′,q′=i=0∑m−1j=0∑n−1c=0∑d−1γi,j,cϕi,j,c(z)ϕp′+i,q′+j,c(x)+b
本文的关键就是这个γi,j,c\gamma _{i,j,c}γi,j,c
γi,j,c=(ρˉi,j+ρ~i,j)βc\gamma _{i,j,c}=(\bar{\rho }_{i,j}+\tilde{\rho}_{i,j} )\beta _cγi,j,c=(ρˉi,j+ρ~i,j)βc
ρˉi,j\bar{\rho }_{i,j}ρˉi,j是general attention，通过学习生成一个类似于高斯框的东东，表征目标的空间信息，一幅图像不同位置的所表达的重要性不同：
$\tilde{\rho}{i,j} 是residualattention，沙漏结构，与是residual attention，沙漏结构，与是residualattention，沙漏结构，与\bar{\rho }{i,j}$合称dual attention，residual attention表征目标的语义信息，增加了判别性。
βc\beta _cβc是channel attention，通过池化、MLP，最后sigmoid输出通道权重。不同通道的重要性也不一样，表征的是目标的通道信息。
其实channel attention和general attention所用的方法在跟踪中都很常见，本文的亮点在于作者加入的这个residual attention
