基于机器学习与深度学习的贷款批准预测

  由于我做的是产品报价，要的是对产品价格的一个预测，对应的是回归任务，基线模型得从适合处理回归任务的算法模型里找，然后就去deepseek去搜了一下，发现回归任务的常见算法和应用场景有：

1. 线性回归【二元线性回归和多元线性回归】，比如说，二元线性回归有：预测房价y基于房屋面积x。多元线性回归：预测房价y基于房屋面积x和房屋地段z。
   2.多项式回归：
   3.决策树回归：预测销售额y基于历史数据（a，b，c，d...）
   4.随机森林回归：查了一下，随机森林是一个集成学习算法，说要构建多颗决策树并平均他们的预测结果来提高准确率？？？？
   5：支持向量机回归：
   6：神经网络回归：处理复杂非线性关系

---

总结：太多了，不懂啥意思，于是我又看了看昨天找的那个项目——《基于机器学习与深度学习的贷款批准预测》

项目地址：https://www.heywhale.com/mw/project/670f61d10ebb9f7a69c5144c

他的项目思路是：
1.他的数据来源是某场竞赛数据；
2.对数据进行一致性检验：对数据进行了KS检验和卡方检验，主要目的是发现数据中的不一致、矛盾点，比如产品价格是十万，产品价格比产品成本还低等等。然后他会这些不一致的矛盾数据进行处理。处理方法好像有正则法，这块还得再看看，看他用没用数据处理方法，还是说，KS检验和卡方检验完成后，他不一致的数据会自动处理
3.对贷款批准的影响因素进行分析。他用到了斯皮尔曼相关性分析和卡方检验。
4.重点在这里。他用了四个处理回归任务的算法模型：逻辑回归、随机森林、多层感知机、深度神经网络。这几个算法模型都能用来处理回归任务。他选的是深度神经网络模型，他得出的结论是：各个模型的预测结果都不错，通过SHAP值分析，发现深度神经网络中，重要的特征因素是贷款信用等级、借款人年收入、贷款的利率。

    我要参考他的思路的话，我直接选深度神经网络模型，然后和其他三个模型的预测结果做对比，说明我的准确率F1值比他们高。当然，这是个大致思路，我看不同模型，他们不都是用F1值。另外，我觉得直接用深度神经网络模型还不行，还得在深度神经网络模型基础上，加一些别的算法，对他进行优化，比如优化他的过拟合问题等等。

---

• [百科]
  1.线性回归算法——是一种统计方法，用于建模和分析两个或多个变量之间的线性关系。它通过拟合一条直线（或超平面）来预测因变量（目标变量）与一个或多个自变量（特征）之间的关系。
  

2.多层感知机（Multilayer Perceptron, MLP）是一种前馈人工神经网络（Feedforward Artificial Neural Network），由多个神经元层组成，能够处理复杂的非线性关系。它是深度学习的基础模型之一，广泛应用于分类和回归任务。

3.SHAP值的作用：
判断特征重要性：通过SHAP值的绝对值大小，评估每个特征对模型预测的总体贡献。本文作者通过SHAP值分析，发现深度神经网络中，重要的特征因素是贷款信用等级、借款人年收入、贷款的利率。
判断特征交互作用：分析特征之间的交互作用，理解他们如何共同影响预测。这一点可以用在我的报价模型里，去判断汇率、国际事件、原材料市场价、运费等因素，他们之间有没有相互作用影响。