Annaprincess - 博客园

2025年11月23日

摘要：第二讲类神经网络训练不起来一.优化失败的原因梯度为0有可能是local minima 和saddle point 因为计算优化的终止条件是梯度为0，但有可能梯度为0仅是局部最小值local minima或鞍点saddle point（多维，在某些维度是最小值，某些维度是最大值。） eigen特征阅读全文

posted @ 2025-11-23 21:39 Annaprincess 阅读(7) 评论(0) 推荐(0)

第七讲下自监督学习self-supervised learning--GPT

摘要：第七讲下自监督学习self-supervised learning--GPT 一.GPT的功能预测接下来可能出现的token GPT相当于transformer 的decoder，有mask attention task description任务介绍 example：例子可以是多个例子、一个例阅读全文

posted @ 2025-11-23 16:29 Annaprincess 阅读(6) 评论(0) 推荐(0)

第七讲上自监督学习self-supervised learning-BERT

摘要：第七讲自监督学习self-supervised learning 常见的自监督模型大小：BERT<GPT<SWITCH 监督学习（supervised learning）：有标签自监督学习（self-supervised learning）：没标签（属于无监督学习的一种类型）自监督学习的原理是初阅读全文

posted @ 2025-11-23 15:23 Annaprincess 阅读(26) 评论(0) 推荐(0)

2025年11月22日

Transformer架构

摘要： Transformer架构 Transformer是基于自注意力的序列到序列模型，与RNN的序列到序列模型不同，Transformer支持并行计算。序列到序列：应用一一.Seq2seq的架构二.Transformer Transformer架构里面的encoder用的是self-attenti 阅读全文

posted @ 2025-11-22 20:45 Annaprincess 阅读(15) 评论(0) 推荐(0)

2025年11月21日

摘要： 2025年11月21日 class Solution { public: int singleNumber(vector<int>& nums) { int ans=0; for(int i:nums){ ans=ans^i; } return ans; } }; 阅读全文

posted @ 2025-11-21 18:10 Annaprincess 阅读(7) 评论(0) 推荐(0)

2025年11月20日

RNN

摘要： RNN 循环神经网络RNN 槽过滤 RNN有记忆的神经网络。循环神经网络RNN会用内存记录中间值第一次输入1,1输出4,4 第二次将2,2存入memory，输入1,1；输出12，12 第三次输入2,2，上一轮结束暂存到内存的数字是6,6，输出32,32 a是概率 weight、bias是利用tr 阅读全文

posted @ 2025-11-20 17:39 Annaprincess 阅读(5) 评论(0) 推荐(0)

第四讲自注意力机制self-attention

摘要：第四讲自注意力机制self-attention 输入是一堆向量的案例：文字处理、声音处理、一.文字处理将输入词汇变成数组的方法： 1.one hot encoding独热编码用一个很长的数组，然后不同位置为1表示不同词汇，可能意思或类别相近的东西编码相近 2.词嵌入word embeding 阅读全文

posted @ 2025-11-20 13:55 Annaprincess 阅读(10) 评论(0) 推荐(0)

2025年11月19日

第六讲GAN生成式对抗网络

摘要： GAN生成式对抗网络生成对抗网络由生成式网络（生成器）与判定式网络（鉴别器）组成。生成器(Generator)：通过机器生成数据（大部分情况下是图像），最终目的是“骗过”判别器。判别器(Discriminator)：判断这张图像是真实的还是机器生成的，目的是找出生成器做的“假数据”。生成器生阅读全文

posted @ 2025-11-19 16:46 Annaprincess 阅读(26) 评论(0) 推荐(0)

2025年11月18日

摘要： 2025年11月18日一.普通数组 class Solution { public: int firstMissingPositive(vector<int>& nums) {//答案一定在1~nums.size()+1之间 int n = nums.size(); for (int i = 0; 阅读全文

posted @ 2025-11-18 20:02 Annaprincess 阅读(5) 评论(0) 推荐(0)

2025年11月12日

pytorch加载数据集

摘要： pytorch加载数据集在 PyTorch 中，加载数据集主要依赖于两个核心工具：torch.utils.data.Dataset（用于定义数据集结构）和torch.utils.data.DataLoader（用于批量加载数据）。下面分内置数据集和自定义数据集两种场景详细说明。一、核心组件说明阅读全文

posted @ 2025-11-12 14:47 Annaprincess 阅读(48) 评论(0) 推荐(0)

luckyyaoyao

公告