LPF05

摘要： 深度学习49问（无答案版） 一、深度学习基础（数学与本质） 为什么深度神经网络具有“通用逼近能力”？它的局限性是什么？ 深度模型为什么能泛化？泛化从何而来？为什么过参数化反而更容易泛化？ 解释一下梯度消失与梯度爆炸的数学本质，为什么 ReLU 能缓解？ Batch Gradient Descent、 阅读全文

摘要： Transformer 架构中的 ResNet + LayerNorm 设计解析 整体详解 一、Transformer 的核心结构：残差连接与归一化的奠基 Transformer 的成功离不开两大关键组件的协同 ——残差连接（Residual Connection） 与层归一化（LayerNorm） 阅读全文

摘要： NLP基础学习(NLP鱼书) 基于同义词词典、计数的方法 最基础的方法即同义词词典，建立词间上下级关系，构造WordNet，需要大量人工标记。 优于同义词词典的方法即基于计数，即用共现矩阵统计语料库corpus中单词的单位距离（窗口大小）内共现次数；共现矩阵为对称矩阵，对应的行则为词的向量，可用余弦 阅读全文

摘要： 深度学习入门笔记 python基础知识 numpy库 import numpy as np numpy数组（numpy.ndarray）:np.array(list) np数组算术运算需元素个数相同，否则报错。 np数组间的算术运算为element-wise，即对应元素的运算。 np数组与单一数值（ 阅读全文

摘要： Wow-RAG 手搓一个土的RAG 安装相关库：faiss-gpu、scikit-learn、scipy、openai、python-dotenv；配置api_key、base_url、chat_model、emb_model。 加载APIkey，配置环境： import os from doten 阅读全文

摘要： Deep Reinforcement Learning 基础知识 强化学习基本概念 强化学习主体被称为智能体(Agent)； 环境(environment)是智能体交互的对象； 环境中有一个状态(state)，是对当前时刻环境的概括； 状态空间\(\mathcal{S}\)(state space) 阅读全文

摘要： Attention&Transformer 3blue1brown&豆包 GPT&Transformer $\text{GPT} = \text{Generative} + \text{Pre-trained} + \text{Transformer} $. $ \text{Embedding} \ 阅读全文

摘要： 西瓜书&南瓜书笔记集 绪论 属性张成的空间为属性空间、样本空间或输入空间，一个示例称为一个特征向量。 有d个属性描述的示例是d维样本空间中的一个向量。 学得模型对应了关于数据的某种潜在规律称为假设，拥有了标记信息的示例称为样例。 通常假设获得的每个样本都是独立同分布的从一个未知分布。 归纳是特殊到一 阅读全文

摘要： 动手学深度学习新知 预处理 pd.get_dummies()可获得one-hot编码，但有陷阱，可参考文献1。 降维时候的指定轴是保留轴。 点积、数量积、标量积都是向量相同位置的按元素乘积的和，即torch.dot()函数。 哈达玛积是矩阵的点积，即A*B。 矩阵-向量积用torch.mv()函数。 阅读全文

摘要： NLP基础实现 数据预处理 清洗和规范化数据 详解： 去除无关信息： 删除HTML标签、特殊字符、非文本内容等，确保文本的纯净性（如（掌声）等拟声词）。 统一格式： 转换所有文本为小写，确保一致性；标准化日期、数字等格式。 分句和分段 将长文本分割成句子或段落，便于处理和训练。 代码示例： '''分 阅读全文