预测评价指标RMSE、MSE、MAE、MAPE、SMAPE

2019-02-21 10:50:31 手撕机阅读数 10947

本文链接：https://blog.csdn.net/guolindonggld/article/details/87856780

假设：
预测值： $yˆ={y1ˆ,y2ˆ,...,ynˆ}\mathbf{\hat{y}}=\{\hat{y_1}, \hat{y_2} , ... , \hat{y_n}\}y^={y1^,y2^,...,yn^}真实值：y={y1,y2,...,yn}\mathbf{y}=\{y_1, y_2, ..., y_n\}y={y1,y2,...,yn}$

MSE

均方误差（Mean Square Error）
$MSE=1n∑ni=1(yˆi−yi)2MSE=\frac{1}{n} \sum_{i=1}^{n} (\hat{y}_i - y_i)^2MSE=n1i=1∑n(y^i−yi)2$

范围[0,+∞)，当预测值与真实值完全吻合时等于0，即完美模型；误差越大，该值越大。

RMSE

均方根误差（Root Mean Square Error），其实就是MSE加了个根号，这样数量级上比较直观，比如RMSE=10，可以认为回归效果相比真实值平均相差10。
$RMSE=1n∑ni=1(yˆi−yi)2−−−−−−−−−−−−−−√RMSE=\sqrt{\frac{1}{n} \sum_{i=1}^{n} (\hat{y}_i - y_i)^2}RMSE=n1i=1∑n(y^i−yi)2范围[0,+∞)，当预测值与真实值完全吻合时等于0，即完美模型；误差越大，该值越大。$

MAE

平均绝对误差（Mean Absolute Error）
$MAE=1n∑ni=1∣yˆi−yi∣MAE=\frac{1}{n} \sum_{i=1}^{n} |\hat{y}_i - y_i|MAE=n1i=1∑n∣y^i−yi∣范围[0,+∞)，当预测值与真实值完全吻合时等于0，即完美模型；误差越大，该值越大。$

MAPE

平均绝对百分比误差（Mean Absolute Percentage Error）
$MAPE=100%n∑ni=1∣∣yˆi−yiyi∣∣MAPE=\frac{100\%}{n}\sum_{i=1}^n \left |\frac{ \hat{y}_i - y_i }{ y_i } \right |MAPE=n100%i=1∑n∣∣∣∣yiy^i−yi∣∣∣∣$

范围[0,+∞)，MAPE 为0%表示完美模型，MAPE 大于 100 %则表示劣质模型。

可以看到，MAPE跟MAE很像，就是多了个分母。

注意点：当真实值有数据等于0时，存在分母0除问题，该公式不可用！

SMAPE

对称平均绝对百分比误差（Symmetric Mean Absolute Percentage Error）

$SMAPE=100%n∑ni=1∣yˆi−yi∣(∣yˆi∣+∣yi∣)/2SMAPE=\frac{100\%}{n}\sum_{i=1}^n \frac{ |\hat{y}_i - y_i| }{ (|\hat{y}_i| + |y_i|)/2 }SMAPE=n100%i=1∑n(∣y^i∣+∣yi∣)/2∣y^i−yi∣$

注意点：当真实值有数据等于0，而预测值也等于0时，存在分母0除问题，该公式不可用！

Python代码

# coding=utf-8
import numpy as np
from sklearn import metrics

# MAPE和SMAPE需要自己实现
def mape(y_true, y_pred):
    return np.mean(np.abs((y_pred - y_true) / y_true)) * 100

def smape(y_true, y_pred):
    return 2.0 * np.mean(np.abs(y_pred - y_true) / (np.abs(y_pred) + np.abs(y_true))) * 100

y_true = np.array([1.0, 5.0, 4.0, 3.0, 2.0, 5.0, -3.0])
y_pred = np.array([1.0, 4.5, 3.5, 5.0, 8.0, 4.5, 1.0])

# MSE
print(metrics.mean_squared_error(y_true, y_pred)) # 8.107142857142858
# RMSE
print(np.sqrt(metrics.mean_squared_error(y_true, y_pred))) # 2.847304489713536
# MAE
print(metrics.mean_absolute_error(y_true, y_pred)) # 1.9285714285714286
# MAPE
print(mape(y_true, y_pred)) # 76.07142857142858
# SMAPE
print(smape(y_true, y_pred)) # 57.76942355889724

MAPE 平均绝对百分误差

2018-09-03 16:49:00 weixin_34209406 阅读数 4821

from fbprophet.diagnostics import performance_metrics

df_p = performance_metrics(df_cv)

df_p.head()

	horizon	mse	rmse	mae	mape	coverage
3297	37 days	0.481970	0.694241	0.502930	0.058371	0.673367
35	37 days	0.480991	0.693535	0.502007	0.058262	0.675879
2207	37 days	0.480936	0.693496	0.501928	0.058257	0.675879
2934	37 days	0.481455	0.693870	0.502999	0.058393	0.675879
393	37 days	0.483990	0.695694	0.503418	0.058494	0.675879

mape平均绝对百分误差

- 定义
1. def evalmape(preds, dtrain):
2. gaps = dtrain.get_label()
3. err = abs(gaps-preds)/gaps
4. err[(gaps==0)] = 0
5. err = np.mean(err)*100
6. return 'error',err