1 分类问题
2 感知器概述
感知机的思想是错误驱动。其模型是
其中sign是符号函数:
由于y∈{-1,1},所以对于误分类的数据来说,满足以下关系
(因为理论上和yi,如果分类正确的话,应该是同正负,所以误分类的数据,二者相乘就应该小于零)
损失函数的一个自然选择是误分类点的个数,即
但是这样的损失函数是不可导的,不易优化。因此采用另一种损失函数,即误分类点到超平面的总距离。
我们复习一下空间中一点x0到超平面之间的距离:
:对于直线wTx+b,它的法向量为w
那么向量x到直线wTx+b的距离就是向量x在法向量w上的投影,即 ||x||cosθ
所以距离为
这里的M表示 被错误分类的样本组成的集合
3 感知机的学习
计算损失函数的梯度:
感知机的学习算法使用随机梯度下降法(SGD)