归去_来兮

摘要： 一、概述 循环神经网络（Recurrent Neural Network, RNN）是一种专门设计用于处理序列数据（如文本、语音、时间序列等）的神经网络模型。其核心思想是通过引入时间上的循环连接，使网络能够保留历史信息并影响当前输出。 二、模型原理 RNN的关键特点是隐藏状态的循环传递，即当前时刻的 阅读全文

摘要： 一、概述 卷积神经网络（Convolutional Neural Network, CNN）是一种深度学习模型，广泛应用于图像识别、计算机视觉等领域。其设计理念源于对生物视觉皮层神经机制的模拟，核心原理是通过卷积、池化（下采样）、全连接等操作，自动提取输入数据的层级特征，完成分类或回归任务。 二、模 阅读全文

摘要： 在神经网络中，激活函数（Activation Function）扮演着至关重要的角色，它为神经网络引入非线性因素，使得网络能够学习和模拟复杂的非线性函数关系，从而具备处理各种复杂问题的能力。如果没有激活函数，多层神经网络将仅仅是一个线性组合模型，其表达能力会受到极大限制。以下是几种常见的激活函数汇总 阅读全文

摘要： 一、概述 人工神经网络（Artificial Neural Network，ANN），是一种模拟生物神经网络结构和功能的计算模型，它通过大量的神经元相互连接，实现对复杂数据的处理和模式识别。从本质上讲，人工神经网络是对人脑神经细胞的数学抽象，试图模仿人类大脑处理信息的方式，以解决各种实际问题。 早在 阅读全文

摘要： 一、概述 主成分分析（Principal Component Analysis，PCA）是一种用于数据降维的方法，其核心目标是在尽可能保留原始数据信息的前提下，将高维数据映射到低维空间。该算法基于方差最大化理论，通过寻找数据的主要变化方向（即主成分），将原始数据投影到这些方向上，从而实现降维。 二、 阅读全文

摘要： 一、概述 LightGBM 由微软公司开发，是基于梯度提升框架的高效机器学习算法，属于集成学习中提升树家族的一员。它以决策树为基学习器，通过迭代地训练一系列决策树，不断纠正前一棵树的预测误差，逐步提升模型的预测精度，最终将这些决策树的结果进行整合，输出最终的预测结果。 二、算法原理 1.训练过程 ( 阅读全文

摘要： 一、概述 CatBoost 是在传统GBDT基础上改进和优化的一种算法，由俄罗斯 Yandex 公司开发，于2017 年开源，在处理类别型特征和防止过拟合方面有独特优势。 在实际数据中，存在大量的类别型特征，如性别、颜色、类别等，传统的算法通常需要在预处理中对这些特征进行独热编码（One-Hot E 阅读全文

摘要： 一、概述 XGBoost 是一种基于梯度提升框架的机器学习算法，它通过迭代地训练一系列决策树来构建模型。核心思想是通过不断地在已有模型的基础上，拟合负梯度方向的残差（真实值与预测值的差）来构建新的弱学习器，达到逐步优化模型的目的。 XGBoost 在构建决策树时，利用了二阶导数信息。在损失函数的优化 阅读全文

摘要： 一、概述 AdaBoost（Adaptive Boosting，自适应提升）是一种迭代式的集成学习算法，通过不断调整样本权重，提升弱学习器性能，最终集成为一个强学习器。它继承了 Boosting 的基本思想和关键机制，但在具体的实现中有着显著特点，成为具有一定特定性能和适用场景的集成学习算法。 二、 阅读全文

摘要： 一、概述 GBDT（Gradient Boosting Decision Tree，梯度提升决策树）是集成学习中提升（Boosting）方法的典型代表。它以决策树（通常是 CART 树，即分类回归树）作为弱学习器，通过迭代的方式，不断拟合残差（回归任务）或负梯度（分类任务），逐步构建一系列决策树，最 阅读全文