x383494

摘要： License: CC BY-NC-SA 4.0 同步发表于新博客。 奔跑。 无尽的奔跑。 听到铃声响起，他站起身，和人潮一起向目的地奔去。人们涌入了几个不同的楼梯。楼梯上是拥挤的，他没法加速，前面的人在一级一级地下楼，他只能放慢脚步。他也不是没尝试过从前面的人身边绕过去，但这样就要没法贴着栏杆走， 阅读全文

摘要： License: CC BY-NC-SA 4.0 同步发表于我的新博客。 supervised learning 是之前见过很多次的，给定一些输入和输出，让机器学习其中的规律。而 self-supervised learning 就不用标注数据。有趣的是，这一类模型大都以芝麻街的人物命名，例如 BE 阅读全文

摘要： 众所周知，对于单调的函数 \(f(x)\)（以增函数为例），有 \[\int_{a-1}^{b} f(x) dx \le \sum \limits_{i=a}^{b} f(i) \le \int_{a}^{b+1} f(x)dx \]然而这样就够了吗？ 求证： \(\sum \limits_{i=1 阅读全文

摘要： 建了个新博客，但还处于实验阶段，访问 https://383494.github.io 可跳转到最新页面。 目前的方案是源文件放在 gitlab 上，使用 netlify 托管。不用 github pages 的原因是它在国内访问不稳定。 cnblogs 还会继续维护。等真的迁移了我会再发一篇文章。 阅读全文

摘要： License CC BY-NC-SA 4.0 本文包含 AI 生成的内容。它们会用 斜体 标注。 想象一下，在一个充满隐私泄露和数据监控的世界里，你还能找到一个真正属于你的通讯空间吗？Matrix 就是这样一个革命性的选择！它不仅仅是一个即时通讯工具，而是一场对自由、安全和隐私的捍卫。Matrix 阅读全文

摘要： License: CC BY-NC-SA 4.0 对于图像生成之类的任务，它要「生成」一些东西，而它的标准答案不是唯一的，这时怎么梯度下降呢？ 只要在输入里加一个随机变量 \(Z\)，服从一个较为简单的分布就行了。由于输入的 \(Z\) 不同，整个网络的输出也变成了一个（和 \(Z\) 的分布有关的 阅读全文

摘要： License: CC BY-NC-SA 4.0 seq2seq：输出长度由模型自行决定。例如语音识别，机器翻译。 即使不是 seq2seq 的问题，也可以用 seq2seq model 大力出奇迹。例如文法剖析，将「deep learning is very powerful」拆成「(S (NP 阅读全文

摘要： License: CC BY-NC-SA 4.0 之前都是输入一个固定长度的东西，但是如果每次输入的东西长度不一样呢？ 例如输入一个句子。当然可以用 one-hot encoding 来编码单词，但这样就看不到某些单词之间的相关性。一个更好的方法是 word embedding。 对于音频输入的情况 阅读全文

摘要： License: CC BY-NC-SA 4.0 有时候，对特定任务调整神经网络的架构会使它做得更好。例如，CNN 用于图像识别。 一张彩色图片是 3 个矩阵（RGB），当然可以把它拉直成向量然后直接硬上全连接层，但是这样会带来非常多的参数，增加了 overfitting 的风险。 下面我们要基于一 阅读全文

摘要： License: CC BY-NC-SA 4.0 为什么我用 gradient descent 训了半天 loss 还是不降？ local minima & saddle point 有可能是你卡在 local minima（极小值）了，但大部分情况下这只是个 saddle point（某一维是极小 阅读全文