牛顿法与Hessian矩阵正定

牛顿法与Hessian矩阵正定：

1.将目标函数展开到二次，通过解右侧方程，得到下降方向的解。当Hessian矩阵是正定时，根据正定矩阵的定义，则一定能够保证是在下降，也就是一定得到的是下降方向。（但非正定时，是否一定不能够下降，也未知；比如存在某个梯度，代入之后，仍然是下降）

2.实际中，求的Hessian矩阵，也可能不存在逆矩阵。正定矩阵，由于特征值全大于0，则一定是可逆的。

3.正定矩阵：特征值全大于0；各阶主子式全大于0.