别再只懂二分类！逻辑回归+Softmax多分类实战，保姆级教程奉上 - 详解

一、引言

二、核心原理

01、Softmax函数

02、Softmax回归

一、引言

提到逻辑回归，多数人第一反应是，哦，那个做二分类的算法。比如判断邮件是否为垃圾邮件、用户是否会点击广告。但实际业务中，我们常常遇到更复杂的分类需求，比如根据用户行为预测其属于高价值客户，潜力客户还是流失风险客户。逻辑回归https://mp.weixin.qq.com/s?__biz=MzE5MTcyOTQwMw==&mid=2247484873&idx=1&sn=db0f89834606b6e0fd07082bb5649107&scene=21#wechat_redirect

今天就带大家突破逻辑回归的二分类局限，重点分享如何用Softmax回归实现多分类任务。

二、核心原理

01、Softmax函数

Softmax函数的作用，就是把这些得分转化为0-1之间的概率值，且所有类别概率之和为1。

02、Softmax回归

Softmax 回归的流程主要分为以下3步。

1.线性预测得分：先通过线性模型计算每个类别的原始得分。

2.Softmax概率转换：将所有类别的原始得分代入Softmax函数，得到每个类别的概率。

3.交叉熵损失：为了让模型预测的概率接近真实标签，我们使用交叉熵损失来衡量误差。

三、代码实战

接下来我们用鸢尾花数据集做实战，该数据集包含3种鸢尾花（Setosa、Versicolor、Virginica），共150个样本，每个样本有4 个特征（花瓣长度、花瓣宽度、花萼长度、花萼宽度）。

我们会用Softmax回归和决策树分别训练模型，看看两种算法的分类效果差异。

在scikit-learn中，逻辑回归默认支持多分类，所以可以换成multinomial参数就是Softmax回归。

# 初始化Softmax回归模型（solver选'sag'，适合多分类且数据量大的场景）
softmax_model = LogisticRegression(
    multi_class='multinomial',  # 启用Softmax回归
    solver='sag',               # 优化器
    max_iter=1000,              # 最大迭代次数
    random_state=42
)
# 训练模型
softmax_model.fit(X_train_scaled, y_train)
# 在测试集上预测
y_pred_softmax = softmax_model.predict(X_test_scaled)
y_pred_prob_softmax = softmax_model.predict_proba(X_test_scaled)  # 输出每个类别的概率
# 计算准确率
accuracy_softmax = accuracy_score(y_test, y_pred_softmax)
print("Softmax回归测试集准确率：", round(accuracy_softmax, 4))
# 输出分类报告（精确率、召回率、F1-score）
print("\nSoftmax回归分类报告：")
print(classification_report(y_test, y_pred_softmax, target_names=['类别0', '类别1', '类别2']))

下面我们再训练一个决策树模型做对比。

# 初始化决策树模型
dt_model = DecisionTreeClassifier(
    max_depth=3,          # 限制树深度，避免过拟合
    random_state=42
)
# 训练模型
dt_model.fit(X_train, y_train)  # 决策树对特征尺度不敏感，无需标准化
# 在测试集上预测
y_pred_dt = dt_model.predict(X_test)
# 计算准确率
accuracy_dt = accuracy_score(y_test, y_pred_dt)
print("决策树测试集准确率：", round(accuracy_dt, 4))
# 输出分类报告
print("\n决策树分类报告：")
print(classification_report(y_test, y_pred_dt, target_names=['类别0', '类别1', '类别2']))