吴恩达机器学习笔记21-正则化线性回归(Regularized Linear Regression)

对于线性回归的求解，我们之前推导了两种学习算法：一种基于梯度下降，一种基于正

规方程。

正则化线性回归的代价函数为：

如果我们要使用梯度下降法令这个代价函数最小化，因为我们未对theta0进行正则化，所以梯

度下降算法将分两种情形：

对上面的算法中? = 1,2, . . . , ? 时的更新式子进行调整可得：

可以看出，正则化线性回归的梯度下降算法的变化在于，每次都在原有算法更新规则的

基础上令?值减少了一个额外的值。

我们同样也可以利用正规方程来求解正则化线性回归模型，方法如下所示：

图中的矩阵尺寸为 (? + 1) ∗ (? + 1)。