一、基本概念
ANN：Artificial neural network前馈神经网络的缩写
二、模型构建
2.1 神经元
2.2 激活函数
意义：激活函数是用来让给神经网络加入非线性因素的，因为线性模型的表达能力不够。如果没有激活函数，那么该网络仅能表达线性映射，此时即便有再多的隐藏层，其整个网络跟单层神经网络也是等价的。
激活函数应该如下性质：
1）非线性；
2）连续可微，容易求导，梯度下降法进行参数求解的要求；
3）范围最好不饱和，当有饱和的区间段时，若系统优化进入该阶段，梯度近似为0，网络的学习就会停止；
4）单调性，单调神经网络的误差函数是凸的，容易进行凸优化；
激活函数有哪几种，各自的特点及使用场景？
1）sigmoid
