第二课 传统神经网络
《深度学习》整体结构:
线性回归 -> 神经网络 -> 卷积神经网络(CNN)-> 循环神经网络(RNN)- LSTM
目标分类(人脸识别,物品识别,场景识别,文字识别),目标检测(安防,自动驾驶),视频分类(视频检索),语句生成(自动翻译,智能对话)
提纲:
1. 神经网络起源:线性回归
2. 从线性到非线性
3. 神经网络的构建
4. 神经网络的“配件”
期待目标:
1. 了解从线性到非线性回归的转化
2. 明白如何构建神经网络,了解不同激励函数的区别联系
3. 掌握“配件”对神经网络性能的影响(损失函数 Cost,学习率 Learning Rate,动量,过拟合),会“调参”
4. 明白本节所有的“面试题”
线性回归:
1. 概念:线性关系来描述输入到输出的映射关系
2. 应用场景:网络分析,银行风险分析,基金股价预测,天气预报
线性回归:
一个线性回归问题
目标方程:y = ax1 + bx2 + cx3 + d
参数: m = [a, b, c, d]
数据:[(x1,1, x2,1,x3,1), (), (), ()]
预测:yt = ax1,t + bx2,t + cx3,t + d
目标:minimize (yt - yt)
总结:线性函数是一维函数,y = ax1 + bx2 + cx3 + d
现在要计算最佳参数 m = [a, b, c, d]
给定数据,计算出预测值,预测值与真实值计算Cost,当Cost最小的时候计算出 m = [a, b, c, d]
优化方法:梯度下降法
模型参数
当前 m0 = [a0, b0, c0, d0]
每一步 m?
参数 m = [a, b, c, d]
梯度下降:梯度计算
Loss = ax1 + bx2 + cx3 + d -y
梯度下降:参数更新
梯度下降法总结:
1. 随机初始化参数
开启循环 t= 0, 1, 2
带入数据求出结果 yt
与真值比较得到loss = y - yt
对各个变量求导得到 m
更新变量 m
线性回归的局限性:线性回归能够清楚的描述分割线性分布的数据,对非线性分布的数据描述较弱
非线性激励
考量标准:
1. 正向对输入的调整
2. 反向梯度损失
神经网络构建
神经元的“并联”和“串联”
从第一层神经网络到最终输出,每一个神经元的数值由前一层神经元数值,神经元参数W,b以及激励函数共同决定第n+1层,第k个神经元的方程,可由公式表示为:
在这里,m表示第n层神经网络的宽度,n为当前神经网络的深度
并联:深度,串联:宽度
MINIST 神经网络分类:
course_2_tf_nn.py
结构变化影响:
1. “并联”宽度影响
2. “串联”层数影响
3. Dropout
4. Learning rate
1. 损失函数 - Loss
影响深度学习性能最重要因素之一。是外部世界对神经网络模型训练的直接指导。
合适的损失函数能够确保深度学习模型收敛
设计合适的损失函数是研究工作的主要内容之一
总结:
1. 神经网络起源:线性回归
2. 从线性到非线性
3. 神经网络的构建
4. 神经网络的“配件”
下节课预告:链式规则反向求导,SGD优化原理,卷积神经网络(CNN)各个layers介绍
第二节课的代码
/wiibrew/DeepLearningCourseCodes/blob/master/course_2_tf_nn.py
/wiibrew/DeepLearningCourseCodes/blob/master/course_2_tf_nn.ipynb
具体通过TensorFlow构建神经网络的过程,通过Pycharm和 Python Notebook来完成实验,调参还部署很熟练。
TensorFlow 对数据进行简单的可视化实验:
/