神经网络与深度学习学习笔记（一）
标签（空格分隔）： 深度学习
最近在学习复旦邱锡鹏老师的《神经网络与深度学习》，并对书中推荐的论文进行了阅读。感觉这本书对深度学习讲解得很好，即有全面严谨的讲述，也有高屋建瓴的理解。
本文的行文结构是按邱老师的书籍结构来的，并结合自己的理解总结了书籍中的相关要点，想要对神经网络和深度学习有更好了解的，推荐大家看邱老师写的《神经网络与深度学习》。
原文地址：/qq_31456593/article/details/77623438
1.1人工智能
人工智能就是让机器具有人类的智能，阿兰图灵给出了一个判断人工智能的标准：“如果一个人在不接触对方的条件下，通过一定途径与对方进行一系列问答，如在一段较长的时间内，这个人无法判断对方是人还是计算机，那么就可以认为该计算机拥有智能”
人工智能诞生的标志是，1956年达特茅斯会议，Jonh对人工智能做出了定义–“人工智能就是让机器的行为看起来就像人表现出的智能行为一样”
人工智能分为以下部分：
感知：智能系统如何对外界刺激信号进行感知和处理。其中包括计算机视觉和语音识别
学习：即机器学习，如何从样例中学习，包括监督学习、非监督学习、强化学习
自然语言处理:自然语言理解和自然语言生成
推理和决策：知识标准，推理规划，决策
1.1.1人工智能发展史
推理期：基于逻辑或事实归纳出一套规则，然后编写程序让计算机来执行任务。
知识期：基于知识库和推理机的专家系统
学习期：设计分析一些算法，让计算机从数据中自动获得规律，并利用规律对未知数据进行预测，即机器学习
1.2神经网络
大脑神经网络：由亿万神经元相互连接构成，神经元由细胞体和突触构成，细胞体有兴奋和抑制2种状态，突触包括树突和轴突，树突可以接受刺激，传入兴奋，轴突可以传出兴奋。突触就是用来传递兴奋的。
如果神经元A的突触离神经元B很近，足以能对其产生影响，并持续重复参与B的兴奋，那么两个神经元或其中之一就会发送某种生长过程或形成代谢，以至于A能作为能使B兴奋的细胞之一,其效能增加。这个机制叫赫布理论。
如果A,B总是相关联的收到刺激，它们突触的强度就会增强，这样的学习叫赫布型学习。
人工神经网络：多个节点连接而成，用来对数据的复杂关系建模，不同节点的连接代表着不同的权重，表示表示一个神经元对另一个神经元的影响大小。每个节点代表一种函数，将其它神经元信息经过相应权重，综合计算输出到激活函数得到一个活性值（兴奋或抑制）。从系统角度看，人工神经网络是大量神经元通过丰富完善的连接构成的自适应非线性系统。
人工神经网络可以看作一个通用的函数逼近器，人工神经网络可以塑造任何函数的能力大小叫做容量，与可以存储到网络中的信息的数量和复杂性相关。
1.2.1神经网络发展历史
一、模型提出：
1943年，Warren和Walter提出MP模型
1948年，图灵在在论文中描述B型图灵机，研究人员将赫布型学习的思想应用到B型图灵机。
1951年，Marvin建造了第一台神经网络机，叫SNARC
1956年，Rosenblatt提出感知机
二、冰河期：
1969年，Marvin出版《感知机》一书，使神经网络进入冰河期十多年，主要原因是，计算力不足，无法解决异或问题
1974年，Paul 发明反向传播算法，但并未受到重视
1980年，Kunihiko提出带有卷积和子采样结构的多层神经网络：新知机
三、反向传播算法引起复兴
1983年，John Hopfield 引入能力函数，并提出用于联想记忆和优化计算的途径
1984年，Geoffrey Hinton提出Boltzman机
1986年，David Rumelhart和James McClelland在对连接主义模拟神经活动提出全面论述，并重新发明的反向传播算法。
1986年，Geoffrey Hinton将反向传播引入多层感知机。
1989年，Yann LeCun间反向传播引入卷积神经网络
四、流行度降低
1995- 支持向量机兴起，受限计算机效能和数据规模不足，神经网络陷入低潮
五、深度学习崛起
，Hinton发现多层前馈网络可以逐层预训练，提出深度学习
，深度学习在语音识别和图像分类上取得巨大成功
1.3深度学习
一般机器学习流程包括
数据预处理：去噪音
特征提取：选特征
特征转换：降维
预测识别：训练函数用于预测
很多模式识别变成了特征工程，利用人类经验来选取特征
表示学习：自动从输入中学习有效的特征
什么是好的表示：
一、好的表示应该具有很强的表示能力。对比局部表示和分布式表示。分布式表示就是把特征分布到不同子特征上。
二、好的表示使后续学习任务变简单。解决语言鸿沟（输入的低层表示和高层语义之间的差异）
三、一个好的表示应该具有一般性，是任务和领域独立的。
提供表示能力需要构造一定深度的多层次特征表示。
深度学习就是如此从数据中学习一个深度模型，让模型学习好特征表示，提供预测或识别准确率。
深度学习要解决的问题是贡献度分配问题。
深度学习的目的是自动从数据中学习有效的特征。
深度学习相关会议
• 国际表示学习会议（International Conference on Learning Representations， ICLR） ：主要聚焦于深度学习。
• 神经信息处理系统年会（Annual Conference on Neural Information Processing Systems， NIPS）：交叉学科会议，但偏重于机器学习。主要包括神经信息处理，统计方法，学习理论以及应用等。
• 国际机器学习会议（International Conference on Machine Learning，ICML）：机器学习顶级会议，深度学习作为近年来的热点，也占据了 ICML的 很大比例。
• 国际人工智能联合会议（International Joint Conference on Artificial Intelligence，IJCAI）：人工智能领域最顶尖的综合性会议。历史悠久，从1969年开始举办，以前每奇数年召开。从开始每年召开。召开时间在七八月份。近年来和深度学习相关的论文也越来越多。
• 美国人工智能协会年会3（AAAI Conference on Artificial Intelligence，AAAI）：人工智能领域的顶级会议，每年二月份左右召开,地点一般在北美。和 IJCAI一样，近年来和深度学习相关的论文也越来越多。
另外，在人工智能的很好应用方向的子领域都有非常好的专业学术会议。在计算机视觉领域，有计算机视觉与模式识别大会（IEEE Conference on Computer Vision and Pattern Recognition，CVPR）和国际计算机视觉会议（International Comference on Computer Vision，ICCV）。CVPR和ICCV是计算机视觉方面最好会议。在自然语言处理领域，有计算语言学年会（Annual Meeting of the Association for Computational Linguistics， ACL）和自然语言处理实证方法大会（Conference on Empirical Methods in Natural Language Processing，EMNLP）等。
参考资料
《神经网络与深度学习》邱锡鹏
