目录

多维特征

n：特征量（维度）

m：样本数量

x(i)：第 i 个样本

x(i)j：第 i 个样本的第 j 维度

多元线性回归：

多元的梯度下降法

将多元假设用于梯度下降算法中：

特征缩放

优点：使特征值相近，更快速的收敛

通常将特征的取值约束到 -1 到 1 的范围内，不能太大或者太小

均值归一化：

ui = 样本中 第 i 维度中所有值之和的平均值（例如：在房价预测中，所有房子大小的平均值）。

si = 第 i 维度的最大值 - 最小值（也可以为标准差）。

特征缩放和均值归一化的目的是使特征在一个相近的范围（不需要太精准），更快的收敛。

学习率（α）：

选择合适的学习率α。

观察代价函数曲线，选择合适的α。

通常选择合适的阈值ε（用于自动收敛测试）是相当困难的，为了检查梯度下降算法是否收敛，常选择查看代价函数曲线，而不依靠自动收敛测试。

α过大会导致代价函数振荡或者发散，α过小会导致代价函数收敛太慢，如下图所示。

下图曲线解决方法：通常选择较小的学习率（α）或者代码出错。

通常绘制J(θ)随迭代步数变化的曲线，可以帮助你导清楚到底发生了什么。

为了选择更好的学习率α，通常选择相差10倍（或3倍）的值来测试，然后查看代价函数图，从而找到合理的值。

特征和多项式回归

首先，我们需要选择合适的特征。

创造新特征:

例如有房子临街宽度和垂直宽度，可以确认真正能决定房子大小的特征——面积，即面积这个新的特征能更好决定房子价格。

多项式回归（polynomial regression）：

将多项式拟合到假设模型中，此时特征缩放就非常重要了。

例如在下图用绿色方框的假设预测房价，其中维度值相差很大。

不仅仅只有三项式可以拟合，平方根函数也可以拟合得很好。

通过对数据形状的了解，选择不同的特征，有时可能得到更好的模型。

正规方程

正规方程：

是一种更好的方法求解参数θ的最优值（解析解法），不需要迭代，而是直接一次性求解θ的最优值。

变为矩阵问题（求θ最优解）：

在Octave中：运行 pinv(X’ * X) * X’ * y 即可得到θ的最优值.

优缺点：

当n(特征变量)小于10000，选择正规方程，反之选择梯度下降（实际根据计算机的计算速度大致选择用那个方法）。

正规方程在矩阵不可逆情况下的解决方法：

解决方法：

线性相关的向量（有一个是多余的），只需删除一个就好。

太多特征（m <= n）导致，所以需要删除一些特征，或者使用正则化的方法。