LR(Logit regression， 逻辑回归)，又名：对数几率回归（logistics regression）
注意：虽然它的名字是“回归”，但是实际却是一种分类学习方法。
公式：
找一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系起来在逻辑回归中，我们选择对数几率函数：，则逻辑回归的公式：
可以发现：，其中为几率，反映了x作为正例的相对可能性，而为对数几率，因此可以说，逻辑回归是用线性模型（）的预测结果去逼近真实标记的对数几率，因此该模型也称为“对数几率回归”。
（1）将逻辑回归公式：中的y视为类后验概率估计，则有：
,
显然有：
可以通过“极大似然法”来估计w和b,给定数据集，对数回归模型最大化“对数似然”：
为了便于讨论，另，，则可以简写成。再令，，则上式中的似然项可以重写为：
因此，最终的最大化“对数似然”等价于最小化：
注意：这是关于β的高阶可导连续函数，根据凸优化理论，可用梯度下降法，牛顿法等，求取最优解。
