吴恩达神经网络和深度学习-学习笔记-13-Aadm优化算法（Momentum + RMSprop）

这是一个极其常用的优化算法！而且被证明有效适用于不同神经网络，适用于广泛的结构！（划重点，划重点）

Adaptive Moment Estimation

这个地方我没记很多，因为PyTorch有已经写好的Adam函数。

首先要初始化：

vdW = 0SdW = 0vdb = 0Sdb = 0

在第t次迭代中：

关于超参数，一般用缺省值即可（吴老师认识业内人士很少去修改超参数值）：