[置顶] HLDairies For Summer
摘要： HLDairies For Summer 写在前面：长文预警 某人指谁应该心里清楚doge 20240617 听说要去海亮，不考（补考）期末考试，于是进行一个停课的办理，第一次进入410，被逆天的配置和气氛所震惊 发誓这回去HL一定要有好效果，于是制定了详细的计划，感觉执行的还不错，都有DP、图论、数论、概率期望等（伏笔，后边要考） 202 阅读全文
posted @ 2024-06-27 15:21 Merlin·Lee 阅读(143) 评论(1) 推荐(0)
2025年7月9日
机器学习的总结
摘要： 机器学习 序言 是的，我看完d2l了，现在在看西瓜书，感觉西瓜书是d2l的理论基础，遂来写机器学习的笔记，希望对我的dl有帮助，个人水平和理解力有限，不喜勿喷，谢谢！ 基本概念 基本概念其实还是很简单的，起码是好理解的。 1.数据集(data set)：一堆数据的集合，里面的每一个数据就是一个样本( 阅读全文
posted @ 2025-07-09 20:53 Merlin·Lee 阅读(17) 评论(0) 推荐(0)
2025年6月16日
梯度震荡
摘要： 梯度震荡:通常指梯度在迭代更新的时候呈现剧烈波动或者不规则变化. 典型表现 1.数值波动大:梯度的大小在不同的迭代中显著起伏,例如某一步的梯度突然骤增或者骤降. 2.方向不稳定:参数路径曲折,并不是平滑的指向最优解. 3.损失函数震荡:损失值不平稳下降,而是频繁的上下波动,难以收敛或收敛速度极慢. 阅读全文
posted @ 2025-06-16 06:15 Merlin·Lee 阅读(68) 评论(0) 推荐(0)
2025年6月15日
正则化
摘要： 看书没看懂,汗... 看csdn看懂了 正则化 什么是正则化,就是对于一个损失函数,我们加上一点限制,使得他在之后的函数中,不要过度膨胀. 引入正则化的原因就是前面说过的过拟合和欠拟合,我们当时说的解决过拟合的方法有: 1.清洗数据 2.减少模型参数 3.增加惩罚因子(正则化) 怎么正则化 线性回归 阅读全文
posted @ 2025-06-15 15:43 Merlin·Lee 阅读(38) 评论(0) 推荐(0)
2025年6月14日
随机梯度下降
摘要： 说来惭愧,在过去的几篇个人记录中,过于关注布置的课题和衍生知识,竟然忘记了深度学习最最最基础的随机梯度下降,这是不好的因为每次在看到什么新的名词或者算法的时候都会或多或少提到随机梯度下降,我就需要再回去看一遍,遂补坑. 梯度下降法 记得看到过一个说法,深度学习最关键的是设计各种各样的优化,所以把要最 阅读全文
posted @ 2025-06-14 13:39 Merlin·Lee 阅读(23) 评论(0) 推荐(0)
2025年6月12日
交叉熵与交叉熵损失
摘要： 熵 熵的定义:无损编码事件信息的最小平均编码长度 对熵的直接计算与意义 这里直接给出一些结论.对于某一事件,其发生的概率越小,那么其信息量越大;发生的概率越大,那么其信息量越小(最小不小于0).因此，有信息量公式如下: \(h(x)=-\log_2 p(x)\) 熵的公式: \(H(X)=-\sum 阅读全文
posted @ 2025-06-12 08:52 Merlin·Lee 阅读(28) 评论(0) 推荐(0)
2025年6月10日
学习率与步长
摘要： 步长 步长是指卷积核(或池化窗口)在输入数据的宽度和高度方向上每次滑动的像素数(对于二维数据，如图像).通常用整数表示,例如步长为 1,2 等. 比如我们给出这两个图像 对于一个收敛的过程,总归是要走的,已经到了最低点后,对于这个点的均方误差就是0了,所以在这之后我们无论怎么走,loss一定会增加, 阅读全文
posted @ 2025-06-10 22:03 Merlin·Lee 阅读(112) 评论(0) 推荐(0)
仿射变换
摘要： 仿射变换 仿射变换 两种简单变换的叠加:线性变换和平移变换 包括:缩放,平移,旋转,反射,错切 直线仿射变换后还是直线,平行线仿射变换后还是平行线 性质保持不变: 1.凸凹性 2.共线性:若几个点变换前在一条线上,仿射变换后仍然在一条线上 3.平行性:平行线仿射变换后还是平行线 4.共线比例不变 一 阅读全文
posted @ 2025-06-10 13:46 Merlin·Lee 阅读(42) 评论(0) 推荐(0)
梯度消失与梯度爆炸
摘要： 梯度消失与梯度爆炸 梯度及其更新 深层次的神经网络要比浅层次的神经网络有更好的处理数据的效果,目前优化神经网络的方法都是基于反向传播的思想，即根据损失函数计算的误差通过梯度反向传播的方式，来对更深的层次进行更新优化. 所以,我们可以把一个神经网络看作是一个复合的多元的非线性函数.而我们最终的目的是要 阅读全文
posted @ 2025-06-10 06:37 Merlin·Lee 阅读(15) 评论(0) 推荐(0)
2025年6月8日
我回来啦！
摘要： Hello！博客园！ MerlinLee回来啦！ 会在这里写很多跟人工智能&机器学习&深度学习有关的博文，来看喵！ 阅读全文
posted @ 2025-06-08 20:45 Merlin·Lee 阅读(15) 评论(1) 推荐(0)
2025年3月7日
Solution
该文被密码保护。 阅读全文
posted @ 2025-03-07 17:54 Merlin·Lee 阅读(2) 评论(0) 推荐(0)