深层神经网络（DNN）:

一、深层神经网络

4层的神经网络：

二、前向与反向传播

前向 (forward propagation):

反向 (backward propagation):

notation:

n[l]：第l层的unit个数

W[l]：(n[l] , n[l−1])

b[l]：(n[l] , 1)

dW[l]：(n[l] , n[l−1])

db[l]：(n[l] , 1)

single example:

x：(n[0] , 1)

z[l]：(n[l] , 1)

a[l]=z[l]=dz[l]：(n[l] , 1)

multiple example:

x：(n[0] , m)

Z[l]：(n[l] , m)

A[l]=Z[l]=dZ[l]=dA[l]：(n[l] , m)

三、参数与超参数

参数（parameters）：

训练网络得到的模型参数用于预测：W[l]，b[l]

超参数（hyperparameters）：

训练网络过程中所需要的的参数，超参数某种程度上决定着模型的参数 W[l]，b[l] 的最终结果。

学习速率：α

迭代次数：N

隐藏层的层数：L

每一层的神经元个数：n[1]，n[2],⋯

激活函数g(z)的选择