目录
1.方差和协方差2.从方差/协方差到协方差矩阵3.互相关矩阵1.方差和协方差
在统计学中，方差是用来度量单个随机变量的离散程度，而协方差一般是用来度量两个随机变量的相似程度，其中方差的计算公式为：
σx2=1n−1∑i=1n(xi−xˉ)2\sigma _{x}^{2}=\frac{1}{n-1}\sum_{i=1}^{n}(x_{i}-\bar{x})^{2} σx2=n−11i=1∑n(xi−xˉ)2
其中，nnn表示样本总量，符号xˉ\bar{x}xˉ表示观测样本的均值。并且分母除以n−1n-1n−1表示无偏估计。
在此基础上，协方差公式被定义为：
σ(x,y)=1n−1∑i=1n(xi−xˉ)(yi−yˉ)\sigma (x,y)=\frac{1}{n-1}\sum_{i=1}^{n}(x_{i}-\bar{x})(y_{i}-\bar{y}) σ(x,y)=n−11i=1∑n(xi−xˉ)(yi−yˉ)
在公式中，xˉ,yˉ\bar{x},\bar{y}xˉ,yˉ分别表示两个随机变量对应的样本观测均值，据此，我们发现，方差σx2\sigma _{x}^{2}σx2可以视作xxx关于自身的协方差σ(x,x)\sigma (x,x)σ(x,x)。
2.从方差/协方差到协方差矩阵
根据方差的定义，给定ddd个随机变量xk,k=1,2,...,dx_{k},k=1,2,...,dxk,k=1,2,...,d，则这些随机变量的方差为：
σ(xk,xk)=1n−1∑i=1n(xki−xˉk)2,k=1,2,...,d\sigma (x_{k},x_{k})=\frac{1}{n-1}\sum_{i=1}^{n}(x_{ki}-\bar{x}_{k})^{2},k=1,2,...,d σ(xk,xk)=n−11i=1∑n(xki−xˉk)2,k=1,2,...,d
其中，xkix_{ki}xki表示随机变量xkx_{k}xk中的第iii个观测样本，nnn表示样本量，每个随机变量所对应的观测样本数量均为nnn。
对于这写随机变量，我们还可以根据协方差的定义，求出两两之间的协方差，即：
σ(xm,xk)=1n−1∑i=1n(xmi−xmˉ)(xki−xkˉ)\sigma (x_{m},x_{k})=\frac{1}{n-1}\sum_{i=1}^{n}(x_{mi}-\bar{x_{m}})(x_{ki}-\bar{x_{k}}) σ(xm,xk)=n−11i=1∑n(xmi−xmˉ)(xki−xkˉ)
因此，协方差矩阵(covariance matric)为：
∑=[σ(x1,x1)...σ(x1,xd)⋮⋱⋮σ(xd,x1)⋯σ(xd,xd)]∈Rd×d\sum =\begin{bmatrix} \sigma (x_{1},x_{1})& ...& \sigma (x_{1},x_{d})\\ \vdots & \ddots &\vdots \\ \sigma (x_{d},x_{1}) & \cdots & \sigma (x_{d},x_{d}) \end{bmatrix}\in R^{d\times d} ∑=⎣⎢⎡σ(x1,x1)⋮σ(xd,x1)...⋱⋯σ(x1,xd)⋮σ(xd,xd)⎦⎥⎤∈Rd×d
其中，对角线上的元素为各个随机变量的方差，非对角线上的元素为两两随机变量之间的协方差。因为协方差σ(xm,xk)\sigma (x_{m},x_{k})σ(xm,xk)和σ(xk,xm)\sigma (x_{k},x_{m})σ(xk,xm)相等，矩阵∑\sum∑为对称矩阵，其大小为d×dd\times dd×d。
3.互相关矩阵
假设有两个随机序列X,YX,YX,Y，则这两者的互相关矩阵为：
RXY=E(XYT)R_{XY}=E(XY^{T}) RXY=E(XYT)
如果两个序列的期望均为0，他们的互相关矩阵和协方差矩阵是一样的。从物理意义上来看，互相关矩阵呈现了两个随机序列的相似性，协方差矩阵反映了两个序列的离散程度。
