简单线性回归：目标：找到a和b，使得∑i=1m(ytrain(i)−axtrain(i)−b)2\sum_{i=1}^m(y_{train}^{(i)}-ax_{train}^{(i)}-b)^2∑i=1m(ytrain(i)−axtrain(i)−b)2尽可能小
线性回归算法的评测：
衡量标准：∑i=1m(ytest(i)−y^test(i))2\sum_{i=1}^m(y_{test}^{(i)}-\hat{y}_{test}^{(i)})^2∑i=1m(ytest(i)−y^test(i))2,问题：和m相关？
1）均方误差MSE（Mean Squared Error）问题：量纲？
1m∑i=1m(ytest(i)−y^test(i))2\frac1m\sum_{i=1}^m(y_{test}^{(i)}-\hat{y}_{test}^{(i)})^2m1i=1∑m(ytest(i)−y^test(i))2
2）均方根误差RMSE（Root Mean Squared Error）
1m∑i=1m(ytest(i)−y^test(i))2=MSEtest\sqrt{\frac1m\sum_{i=1}^m(y_{test}^{(i)}-\hat{y}_{test}^{(i)})^2}=\sqrt{MSE_{test}}m1i=1∑m(ytest(i)−y^test(i))2=MSEtest
3）平方绝对误差MAE（Mean Absolute Error）
1m∑i=1m∣ytest(i)−y^test(i)∣\frac1m\sum_{i=1}^m\mid y_{test}^{(i)}-\hat{y}_{test}^{(i)}\midm1i=1∑m∣ytest(i)−y^test(i)∣
问题：分类的准确度：1最好，0最差
4）R Squared
R2=1−SSresidualSStotalR^2=1-\frac{SS_{residual}}{SS_{total}}R2=1−SStotalSSresidual
Residual Sum of Squares;Total Sum of Squares
R2=1−∑i(y^(i)−y(i))2∑i(yˉ−y(i))2R^2=1-\frac{\sum_i(\hat{y}^{(i)}-y^{(i)})^2}{\sum_i(\bar{y}-y^{(i)})^2}R2=1−∑i(yˉ−y(i))2∑i(y^(i)−y(i))2
分子：使用我们的模型预测产生的错误；
分母：使用y=yˉ预测产生的错误y=\bar{y}预测产生的错误y=yˉ预测产生的错误
Baseline Model
1.R2≤1R^2\leq 1R2≤1
2.R2R^2R2越大越好。当我们的预测模型不犯任何错误时，R2R^2R2得到最大值1；
3.当我们的模型等于基准模型时，R2R^2R2为0；
4.如果R2<0R^2<0R2<0，说明我们学习到的模型还不如基准模型。此事，很有可能我们的数据不存在任何线性关系。
R2=1−∑i(y^(i)−y(i))2∑i(yˉ−y(i))2R^2=1-\frac{\sum_i(\hat{y}^{(i)}-y^{(i)})^2}{\sum_i(\bar{y}-y^{(i)})^2}R2=1−∑i(yˉ−y(i))2∑i(y^(i)−y(i))2
=1−(∑im(y^(i)−y(i))2)/m(∑im(yˉ−y(i))2)/m=1-\frac{(\sum_i^m(\hat{y}^{(i)}-y^{(i)})^2)/m}{(\sum_i^m(\bar{y}-y^{(i)})^2)/m}=1−(∑im(yˉ−y(i))2)/m(∑im(y^(i)−y(i))2)/m
=1−MSE(y^,y)Var(y)=1-\frac{MSE(\hat{y},y)}{Var(y)}=1−Var(y)MSE(y^,y)
