PCA主成分分析法简介
主成分分析算法（PCA）是最常用的线性降维方法，它的目标是通过某种线性投影，将高维的数据映射到低维的空间中，并期望在所投影的维度上数据的信息量最大（方差最大），以此使用较少的数据维度，同时保留住较多的原数据点的特性。
PCA降维的目的，就是为了在尽量保证“信息量不丢失”的情况下，对原始特征进行降维，也就是尽可能将原始特征往具有最大投影信息量的维度上进行投影。将原特征投影到这些维度上，使降维后信息量损失最小。
总而言之，PCA的概念很简单：减少数据集的维数，同时保留尽可能多的主要信息。
PCA主要步骤
去除平均值计算协方差矩阵计算协方差矩阵的特征值和特征向量将特征值排序保留前N个最大的特征值对应的特征向量将原始特征转换到上面得到的N个特征向量构建的新空间中（最后两步，实现了特征压缩）标准化
此步骤的目的是标准化输入数据集，使数据成比例缩小。
更确切地说，在使用PCA之前必须标准化数据的原因是PCA方法对初始变量的方差非常敏感。也就是说，如果初始变量的范围之间存在较大差异，那么范围较大的变量占的比重较大，和较小的变量相比（例如，范围介于0和100之间的变量较0到1之间的变量会占较大比重），这将导致主成分的偏差。通过将数据转换为同样的比例可以防止这个问题。
求每一个特征的平均值，然后对于所有的样本，每一个特征都减去自身的均值。
z=value−meanstandarddeviationz=\frac{value-mean}{standard deviation} z=standarddeviationvalue−mean
经过去均值处理之后，原始特征的值就变成了新的值，在这个新的norm_data的基础上，进行下面的操作。
计算协方差矩阵
此步骤的目的是了解输入数据集的变量相对于彼此平均值变化，换句话说，查看它们是否存在关系。因为有时候，变量由于高度相关，这样就会包含冗余信息。因此，为了识别变量的相关性，我们计算协方差矩阵。
下面以二维矩阵为例：
C=[cov(x1,x1)cov(x1,x1)cov(x2,x1)cov(x2,x2)]C=\begin{bmatrix} cov(x_{1},x_{1}) &cov(x_{1},x_{1}) \\ cov(x_{2},x_{1}) &cov(x_{2},x_{2}) \end{bmatrix} C=[cov(x1,x1)cov(x2,x1)cov(x1,x1)cov(x2,x2)]
上述矩阵中，对角线上分别是特征x1和x2的方差，非对角线上是协方差。协方差大于0表示x1和x2。若有一个增，另一个也增；小于0表示一个增，一个减；协方差为0时，两者独立。协方差绝对值越大，两者对彼此的影响越大，反之越小。
计算协方差矩阵的特征值和特征向量
求协方差矩阵CCC的特征值λλλ和相对应的特征向量uuu（每一个特征值对应一个特征向量）：
Cu=λuCu=\lambda u Cu=λu
特征值λλλ会有NNN个，每一个λiλ_{i}λi对应一个特征向量uiu_{i}ui，将特征值λ按照从大到小的顺序排序，选择最大的前k个，并将其相对应的k个特征向量拿出来，我们会得到一组{(λ1，u1)，(λ2，u2)，…，(λk，uk)}。
将原始特征投影到选取的特征向量上，得到降维后的新K维特征
这个选取最大的前k个特征值和相对应的特征向量，并进行投影的过程，就是降维的过程。对于每一个样本XiXiXi，原来的特征是(xi1，xi2,…,xin)T(xi_1，xi_2,…,xi_n)^T(xi1，xi2,…,xin)T，投影之后的新特征是(y1i，y2i,...,yki)T(y^i_1，y^i_2,...,y^i_k)^T(y1i，y2i,...,yki)T ，新特征的计算公式如下：
PCA算法的主要优点
仅仅需要以方差衡量信息量，不受数据集以外的因素影响。各主成分之间正交，可消除原始数据成分间的相互影响的因素。计算方法简单，主要运算是特征值分解，易于实现。PCA算法的主要缺点
主成分各个特征维度的含义具有一定的模糊性，不如原始样本特征的解释性强。
方差小的非主成分也可能含有对样本差异的重要信息，因降维丢弃可能对后续数据处理有影响。
参考
/p/58663947/lanyuelvyun/article/details/82384179
