预测评价指标RMSE MSE MAE MAPE SMAPE

假设：

预测值：y^={y1^,y2^,...,yn^}\mathbf{\hat{y}}=\{\hat{y_1}, \hat{y_2} , ... , \hat{y_n}\}y^​={y1​^​,y2​^​,...,yn​^​}

真实值：y={y1,y2,...,yn}\mathbf{y}=\{y_1, y_2, ..., y_n\}y={y1​,y2​,...,yn​}

MSE

均方误差（Mean Square Error）

MSE=1n∑i=1n(y^i−yi)2MSE=\frac{1}{n} \sum_{i=1}^{n} (\hat{y}_i - y_i)^2 MSE=n1​i=1∑n​(y^​i​−yi​)2

范围[0,+∞)，当预测值与真实值完全吻合时等于0，即完美模型；误差越大，该值越大。

RMSE

均方根误差（Root Mean Square Error），其实就是MSE加了个根号，这样数量级上比较直观，比如RMSE=10，可以认为回归效果相比真实值平均相差10。

RMSE=1n∑i=1n(y^i−yi)2RMSE=\sqrt{\frac{1}{n} \sum_{i=1}^{n} (\hat{y}_i - y_i)^2} RMSE=n1​i=1∑n​(y^​i​−yi​)2​

范围[0,+∞)，当预测值与真实值完全吻合时等于0，即完美模型；误差越大，该值越大。

MAE

平均绝对误差（Mean Absolute Error）

MAE=1n∑i=1n∣y^i−yi∣MAE=\frac{1}{n} \sum_{i=1}^{n} |\hat{y}_i - y_i| MAE=n1​i=1∑n​∣y^​i​−yi​∣

范围[0,+∞)，当预测值与真实值完全吻合时等于0，即完美模型；误差越大，该值越大。

MAPE

平均绝对百分比误差（Mean Absolute Percentage Error）

MAPE=100%n∑i=1n∣y^i−yiyi∣MAPE=\frac{100\%}{n}\sum_{i=1}^n \left |\frac{ \hat{y}_i - y_i }{ y_i } \right | MAPE=n100%​i=1∑n​∣∣∣∣​yi​y^​i​−yi​​∣∣∣∣​

范围[0,+∞)，MAPE 为0%表示完美模型，MAPE 大于 100 %则表示劣质模型。

可以看到，MAPE跟MAE很像，就是多了个分母。

注意点：当真实值有数据等于0时，存在分母0除问题，该公式不可用！

SMAPE

对称平均绝对百分比误差（Symmetric Mean Absolute Percentage Error）

SMAPE=100%n∑i=1n∣y^i−yi∣(∣y^i∣+∣yi∣)/2SMAPE=\frac{100\%}{n}\sum_{i=1}^n \frac{ |\hat{y}_i - y_i| }{ (|\hat{y}_i| + |y_i|)/2 } SMAPE=n100%​i=1∑n​(∣y^​i​∣+∣yi​∣)/2∣y^​i​−yi​∣​

注意点：当真实值有数据等于0，而预测值也等于0时，存在分母0除问题，该公式不可用！

Python代码

# coding=utf-8import numpy as npfrom sklearn import metrics# MAPE和SMAPE需要自己实现def mape(y_true, y_pred):return np.mean(np.abs((y_pred - y_true) / y_true)) * 100def smape(y_true, y_pred):return 2.0 * np.mean(np.abs(y_pred - y_true) / (np.abs(y_pred) + np.abs(y_true))) * 100y_true = np.array([1.0, 5.0, 4.0, 3.0, 2.0, 5.0, -3.0])y_pred = np.array([1.0, 4.5, 3.5, 5.0, 8.0, 4.5, 1.0])# MSEprint(metrics.mean_squared_error(y_true, y_pred)) # 8.107142857142858# RMSEprint(np.sqrt(metrics.mean_squared_error(y_true, y_pred))) # 2.847304489713536# MAEprint(metrics.mean_absolute_error(y_true, y_pred)) # 1.9285714285714286# MAPEprint(mape(y_true, y_pred)) # 76.07142857142858，即76%# SMAPEprint(smape(y_true, y_pred)) # 57.76942355889724，即58%

推荐阅读：评价指标系列文章

搜索推荐评价指标Precision@k、Recall@k、F1@k、NDCG@k机器翻译评价指标BLEU