标签： 深度学习CNN神经网络知识总结 -03-20 20:19 121人阅读 评论(0)收藏举报 分类：
版权声明：本文为博主原创文章，未经博主允许。
一、常用的非线性激励函数1.Sigmoid 优点：输出可以映射到[0,1] 缺点：一次求导后梯度损失了75%,梯度损失严重
2.Than 优点：输出可以映射到[-1,1] 缺点：梯度损失明显
3.Relu 特性：正向截断负值，损失大量特征，但由于特征数量足够，仍然足够推动机器进行学习 通过引入非线性层使得神经网络能够拟合非线性问题。 【问题】是否存在线性回归网络？ 答：没有，存粹的线性问题并不存在多层网络的概念，由其线性特性，只需要一层便能表示“多层”的二、神经网络构建1、神经元的并联和串联从第一层神经元的最后一层的神经元，每一个神经元的数值由前一层神经元数值，神经元参数W，b以及激励函数共同决定。 2.神经网络优化：链式法则 计算梯度 Output->last layer Layer->layer Layer->parameter 3.训练过程中调参技巧 刚开始适用较大的学习率，加快收敛，后期使得学习率衰减，提高训练精度。三、神经网络的“配件”1.常见的损失函数 影响深度学习性能的最重要参数之一，是外部世界（标签）对神经网络模型训练的直接指导，合适的损失函数能确保深度学习模型收敛，设计合理的损失函数是研究工作中主要内容之一 1.1Sofmax 例：一组数据【1，2，3，4，1，2，3】----》【0.024，0.064，0.175，0.475，0.024，0.064，0.175】 对Loss的影响：指数型的性质将放大数据间的区别，因此对于分类问题的预测结果更为清晰 1.2Cross entropy(交叉熵) 缺点：当Yn=0时，会造成损失无限大。 用途：目标为[0,1]区间的回归问题以及生成问题（如针对一张图片的生成问题，刚开始生成0到1间的回归值，之后再乘以255得到像素级彩色图片）单独将某些预测值取出或者赋予不同大小的参数 1.3损失函数设计 1.3.1看中某一个属性 1.3.2合并多个loss：多目标训练任务，设置合理的Loss结合方式（如FAST-RCNN中融合两个Loss(分类与空间位置的回归)） 1.3.3神经网络融合：不同神经网络loss结合，共同loss对网络进行训练指导 2.学习率 1.性质：学习率大时候收敛快，学习率小时精度高 2.学习率的选择:固定，步进 3.惯性因子 对新出现的梯度方向，优化方向会沿着之前已经得到的优化方向前进，不会直接变为新方向，只会微调 4.过拟合 过度关注训练数据，从模型上的体现便是过于关注某些神经元，权重过高，导致模型灵活性下降，下图中黑色曲线比绿色更高 4.1应对方法： 4.1.1正则化，在考虑损失函数的设计时，同时考虑模型，得到模型较小请款下的最优决策函数 4.1.2Dropout:对隐藏层中的神经元训练过程中进行随机丢弃，这样训练得到的结果各神经元参数分布将比较均匀，不容易过拟合 4.1.3Fine-tuning:利用已经训练好的模型，对其中某些层参数固定，训练一小部分参数，对整个网络进行微调，示例如下 4.2面试题Dropout ,Pooling区别？ Pooling的本质是降维（降维的原因是经过ReLU后，很多数据值为0，不对训练有效果，因此通过最大/平均降维进行抛弃） Dropout本质是：正则化
