【机器学习周志华】读书笔记 P3 机器学习发展历程（选读）

机器学习是人工智能研究发展到一定阶段的必然产物。

20世纪50年代-20世纪70年代初：

人工智能研究处于推理期。

人们以为只要能赋予机器逻辑推理能力，机器就能具有智能。

但是人们逐渐意识到光有逻辑推理能力不够用。

20世纪70年代：

人工智能研究进入知识期。

要使机器具有智能，就必须设法使机器拥有知识。

但是事实上人总结知识然后教给计算机太过于困难。

20世纪80年代：

从样例中学习：

1983年将机器学习划分为：“机械学习”，“示教学习”，“类比学习”，“归纳学习”。

“机械学习”即把外界输入的信息全部记录下来，在需要时原封不动的取出使用；

“示教学习和类比学习”从指令中学习，通过观察和发现学习。

归纳学习从样例中学习，即从训练样例中归纳出学习结果。其涵盖监督学习、无监督学习等，至今为主流机器学习思想。

20世纪90年代中期之前：

“从样例中学习”的另一个主流技术是基于神经网络的连接主义学习。

1986年著名的BP算法产生了深远的影响。

20世纪90年代中期：

“统计学习” 闪亮登场。代表性技术是支持向量机SVM。

21世纪初：

连接主义卷土重来，深度学习以其多层神经网络，在复杂的对象的应用中取得优越的性能。

深度学习技术设计的模型复杂度非常高，以至于只要下功夫去调参，参数调节好往往性能就是好。因此深度学习虽然缺乏严格的理论基础，但是显著降低了机器学习应用者的门槛。

深度学习热门的原因：

1）数据大了：

深度学习模型具有大量参数，若数据样本少，容易产生“过拟合”；

2）计算能力强了：

强大的计算设备，使得跑一个数据集不需要几月了。