糖尿病预测（较好的代码）

 

In [4]:

# 导入所有需要的库
import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import load_diabetes
from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import train_test_split
from sklearn.metrics import r2_score, mean_squared_error, mean_absolute_error
from sklearn.preprocessing import StandardScaler, PolynomialFeatures
from sklearn.inspection import permutation_importance
import joblib
from sklearn.pipeline import Pipeline
plt.rcParams['font.family'] = 'Microsoft YaHei' #设置中文字体
plt.rcParams['axes.unicode_minus'] = False # 解决负号显示问题
# ------------------------------------------------------------------------------
# 1. 数据加载与基础拆分（严格遵循“先拆分再预处理”，避免数据泄露）
# ------------------------------------------------------------------------------
# 加载Sklearn自带糖尿病数据集
data = load_diabetes()
X = data.data  # 特征：10个（年龄、血压、血糖等）
y = data.target  # 标签：病情进展程度（25~346，连续值）
feature_names = data.feature_names  # 特征名（用于后续可视化）

# 拆分训练集（80%）和验证集（20%）：测试集后续用训练集+验证集联合训练后再单独验证
X_train, X_val, y_train, y_val = train_test_split(
    X, y, test_size=0.2, random_state=42  # 固定随机种子，结果可复现
)

print(f"数据拆分完成：")
print(f"训练集样本数：{X_train.shape[0]}，特征数：{X_train.shape[1]}")
print(f"验证集样本数：{X_val.shape[0]}，特征数：{X_val.shape[1]}")

# ------------------------------------------------------------------------------
# 2. 数据预处理+特征工程（解决“特征信息不足”问题）
# ------------------------------------------------------------------------------
# 2.1 标准化：消除特征尺度差异（如年龄和血压单位不同）
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)  # 训练集：fit+transform
X_val_scaled = scaler.transform(X_val)          # 验证集：仅transform（复用训练集参数）

# 2.2 多项式特征扩展：生成交叉特征（如年龄×血压），提升非线性捕捉能力
poly = PolynomialFeatures(degree=2, include_bias=False)  # 2次特征，避免维度爆炸
X_train_poly = poly.fit_transform(X_train_scaled)  # 训练集：fit+transform
X_val_poly = poly.transform(X_val_scaled)          # 验证集：仅transform

# 生成扩展后的特征名（用于后续特征重要性可视化）
poly_feature_names = poly.get_feature_names_out(feature_names)
print(f"\n特征工程完成：")
print(f"原始特征数：{X_train.shape[1]} → 扩展后特征数：{X_train_poly.shape[1]}")

# ------------------------------------------------------------------------------
# 3. 异常值剔除（解决“极端样本干扰”问题）
# ------------------------------------------------------------------------------
# 基于四分位距（IQR）剔除标签（病情进展）的异常值
Q1 = np.percentile(y_train, 25)
Q3 = np.percentile(y_train, 75)
IQR = Q3 - Q1
lower_bound = Q1 - 1.5 * IQR  # 下界
upper_bound = Q3 + 1.5 * IQR  # 上界

# 筛选正常样本
normal_mask = (y_train >= lower_bound) & (y_train <= upper_bound)
X_train_normal = X_train_poly[normal_mask]
y_train_normal = y_train[normal_mask]

print(f"\n异常值剔除完成：")
print(f"剔除前训练集样本数：{len(y_train)} → 剔除后：{len(y_train_normal)}")
print(f"异常值范围：y < {lower_bound:.2f} 或 y > {upper_bound:.2f}")

# ------------------------------------------------------------------------------
# 4. 模型训练与优化（解决“模型复杂度不够”问题）
# ------------------------------------------------------------------------------
# 优化后的随机森林超参（提升复杂度，增强学习能力）
optimized_hyperparams = {
    'n_estimators': 500,          # 树的数量：500棵（平衡性能和效率）
    'max_depth': 25,              # 树的深度：25（捕捉细粒度规律）
    'min_samples_split': 3,       # 节点分裂最小样本数：3（允许更多分裂）
    'min_samples_leaf': 1,        # 叶子节点最小样本数：1（不限制细粒度）
    'random_state': 42,           # 固定随机种子，结果可复现
    'n_jobs': -1                  # 并行计算，加快训练速度
}

# 实例化并训练模型
rf_model = RandomForestRegressor(**optimized_hyperparams)
rf_model.fit(X_train_normal, y_train_normal)  # 用处理后的正常样本训练

# ------------------------------------------------------------------------------
# 5. 模型评估（训练集+验证集，确认效果）
# ------------------------------------------------------------------------------
# 训练集预测与评估
y_pred_train = rf_model.predict(X_train_normal)
train_r2 = r2_score(y_train_normal, y_pred_train)
train_mse = mean_squared_error(y_train_normal, y_pred_train)
train_mae = mean_absolute_error(y_train_normal, y_pred_train)

# 验证集预测与评估
y_pred_val = rf_model.predict(X_val_poly)
val_r2 = r2_score(y_val, y_pred_val)
val_mse = mean_squared_error(y_val, y_pred_val)
val_mae = mean_absolute_error(y_val, y_pred_val)

# 打印评估结果
print("\n" + "="*50)
print("模型最终评估结果")
print("="*50)
print(f"【训练集】")
print(f"R²（决定系数）：{train_r2:.4f}（目标≥0.85）")
print(f"MSE（均方差）：{train_mse:.2f}（目标<1500）")
print(f"MAE（平均绝对误差）：{train_mae:.2f}（越小越好）")
print(f"\n【验证集】")
print(f"R²（决定系数）：{val_r2:.4f}（目标≥0.65）")
print(f"MSE（均方差）：{val_mse:.2f}（越小越好）")
print(f"MAE（平均绝对误差）：{val_mae:.2f}（越小越好）")
print("="*50)

# ------------------------------------------------------------------------------
# 6. 可视化分析（直观展示效果，帮助理解）
# ------------------------------------------------------------------------------
# 6.1 训练集：真实值vs预测值（看拟合效果）
plt.figure(figsize=(12, 5))

plt.subplot(1, 2, 1)
plt.scatter(y_train_normal, y_pred_train, alpha=0.6, color='blue')
plt.plot([y_train_normal.min(), y_train_normal.max()], 
         [y_train_normal.min(), y_train_normal.max()], 
         'r--', linewidth=2)  # 理想拟合线（y=x）
plt.xlabel("真实病情进展")
plt.ylabel("预测病情进展")
plt.title(f"训练集：真实值vs预测值（R²={train_r2:.4f}）")
plt.grid(alpha=0.3)

# 6.2 Top10关键特征（排列重要性，解释模型）
perm_importance = permutation_importance(
    rf_model, X_val_poly, y_val, scoring='r2', n_repeats=10, random_state=42
)   

# 筛选Top10重要特征
top10_idx = np.argsort(perm_importance.importances_mean)[-10:]
top10_names = poly_feature_names[top10_idx]
top10_scores = perm_importance.importances_mean[top10_idx]

plt.subplot(1, 2, 2)
plt.barh(range(len(top10_names)), top10_scores, color='green', alpha=0.7)
plt.yticks(range(len(top10_names)), top10_names, fontsize=10)
plt.xlabel("排列重要性得分（越高越关键）")
plt.title("Top10关键特征（影响病情进展的核心因素）")
plt.gca().invert_yaxis()  # 倒序显示（得分最高的在顶部）
plt.grid(alpha=0.3, axis='x')

plt.tight_layout()
plt.show()

# ------------------------------------------------------------------------------
# 7. 模型固化与加载（工程化落地，用于新数据预测）
# ------------------------------------------------------------------------------
# 构建完整管道（串联预处理+特征工程+模型，避免后续预测时格式不匹配）
full_pipeline = Pipeline([
    ('scaler', StandardScaler()),                # 标准化
    ('poly', PolynomialFeatures(degree=2, include_bias=False)),  # 特征扩展
    ('rf', RandomForestRegressor(**optimized_hyperparams))  # 优化后的模型
])

# 用训练集+验证集联合训练管道（提升数据利用率，增强泛化能力）
X_train_val = np.vstack([X_train, X_val])
y_train_val = np.hstack([y_train, y_val])
full_pipeline.fit(X_train_val, y_train_val)

# 保存管道（含预处理参数+模型，可直接用于部署）
joblib.dump(full_pipeline, 'diabetes_prediction_rf_pipeline.pkl')
print("\n模型已保存为：diabetes_prediction_rf_pipeline.pkl")

# 加载模型（后续部署/新数据预测时使用）
loaded_pipeline = joblib.load('diabetes_prediction_rf_pipeline.pkl')

# 模拟新数据预测（3条新患者数据）
new_data = X_val[:3]  # 取验证集前3条数据作为模拟新数据
new_data_pred = loaded_pipeline.predict(new_data)
print(f"\n模拟3条新患者的病情进展预测结果：{new_data_pred.round(2)}")
print(f"对应真实病情进展：{y_val[:3].round(2)}")

 

 

数据拆分完成：
训练集样本数：353，特征数：10
验证集样本数：89，特征数：10

特征工程完成：
原始特征数：10 → 扩展后特征数：65

异常值剔除完成：
剔除前训练集样本数：353 → 剔除后：353
异常值范围：y < -106.00 或 y > 406.00

==================================================
模型最终评估结果
==================================================
【训练集】
R²（决定系数）：0.9189（目标≥0.85）
MSE（均方差）：492.83（目标<1500）
MAE（平均绝对误差）：17.93（越小越好）

【验证集】
R²（决定系数）：0.4548（目标≥0.65）
MSE（均方差）：2888.73（越小越好）
MAE（平均绝对误差）：44.28（越小越好）
==================================================

 

 

模型已保存为：diabetes_prediction_rf_pipeline.pkl

模拟3条新患者的病情进展预测结果：[194.92 109.52 184.88]
对应真实病情进展：[219.  70. 202.]