摘要：
logit 的历史由来 在 20 世纪 30 年代和 40 年代，许多人试图将线性回归应用于预测概率的问题。然而，线性回归产生的输出范围是从负无穷到正无穷，而我们期望的概率输出范围是 0 到 1。实现这一目标的一个方法是将 0 到 1 的概率映射到负无穷到正无穷的范围，然后像往常一样使用线性回归。 阅读全文
posted @ 2025-11-07 09:50
PKICA
阅读(155)
评论(0)
推荐(0)
摘要：
Softmax 激活函数（Softmax Activation Function）是神经网络中一种特殊的激活函数，主要用于解决多类别分类问题。 它位于神经网络的输出层，作用是将网络的原始输出分数（称为 logits）转换成一个表示各类别的概率分布。 1. 核心功能与原理 Softmax 函数接收一个 阅读全文
posted @ 2025-11-06 17:22
PKICA
阅读(168)
评论(0)
推荐(0)
摘要：
Tanh 激活函数，即双曲正切函数（Hyperbolic Tangent Function），是神经网络中一种常见的激活函数。它与 Sigmoid 函数形状相似（都是 S 形曲线），但其输出范围不同，且具有零中心化的特点。 1. 数学表达式 Tanh 函数的数学公式如下： tanh(𝑥)=（𝑒� 阅读全文
posted @ 2025-11-06 15:35
PKICA
阅读(109)
评论(0)
推荐(0)
摘要：
Sigmoid 激活函数，也称为逻辑函数（Logistic Function），是人工神经网络历史上一个非常重要的激活函数。它因其独特的“S”形曲线而得名，能够将任何实数值输入压缩到一个介于 0 和 1 之间的范围。 1. 数学表达式 Sigmoid 函数的数学公式如下：𝜎(𝑥)=1 / ( 1 阅读全文
posted @ 2025-11-06 15:17
PKICA
阅读(104)
评论(0)
推荐(0)
摘要：
线性整流单元(Rectified Linear Unit，ReLU) 是深度学习中最广泛使用的激活函数之一。它因其简单、高效的特性，成为大多数现代神经网络（特别是卷积神经网络 CNN）隐藏层的默认选择。 1. 原理与定义 ReLU 激活函数的作用是给神经网络引入非线性，使其能够学习和逼近复杂的数据模 阅读全文
posted @ 2025-11-06 15:02
PKICA
阅读(68)
评论(0)
推荐(0)
摘要：
合页损失函数（Hinge Loss），也称铰链损失或最大间隔损失（Max-Margin Loss），是一种主要用于最大间隔分类（如支持向量机 SVM）的损失函数。 1. 核心思想 合页损失函数的设计目标是不仅要将数据点正确分类，还要确保分类的置信度足够高，即样本点要与决策边界保持足够的“间隔”（Ma 阅读全文
posted @ 2025-11-06 10:31
PKICA
阅读(28)
评论(0)
推荐(0)
摘要：
激活函数（Activation Function）与损失函数（Loss Function）在神经网络中扮演着完全不同的角色，它们位于模型的不同位置，服务于不同的目的。 核心区别总结如下： 特性激活函数 (Activation Function)损失函数 (Loss Function) 位置 位于神经 阅读全文
posted @ 2025-11-05 17:29
PKICA
阅读(53)
评论(0)
推荐(0)
摘要：
反向传播算法（Backpropagation，简称BP算法）是“误差反向传播”的简称，是一种用于训练人工神经网络的常见方法。它的基本思想是通过计算神经网络中损失函数对各参数的梯度，结合优化方法（如梯度下降法）来更新参数，从而降低损失函数。反向传播算法的出现是神经网络发展的重大突破，许多深度学习训练方 阅读全文
posted @ 2025-11-05 17:13
PKICA
阅读(95)
评论(0)
推荐(0)
摘要：
KL散度（Kullback-Leibler divergence，简称 KLD），又称相对熵（Relative Entropy）或信息散度。在信息论中，Kullback-Leibler（KL）散度是用于衡量两个概率分布之间的差异性的。在分类问题中，我们有两个不同的概率分布：第一个分布对应着我们真实的 阅读全文
posted @ 2025-11-05 16:28
PKICA
阅读(69)
评论(0)
推荐(0)
摘要：
自动编码器（Autoencoder, AE）是一种人工神经网络，主要用于无监督学习，目标是学习输入数据的高效表示（编码）。其核心思想是通过尝试重构（reconstruct）原始输入数据来实现自我学习。 1. 基本结构与原理 自动编码器由两部分组成：编码器（Encoder）和解码器（Decoder）。 阅读全文
posted @ 2025-11-03 11:14
PKICA
阅读(13)
评论(0)
推荐(0)
浙公网安备 33010602011771号