nealchen

摘要： TL; DR: 仅靠求导计算和配方，就能导出 Diffusion 的 ELBO，不需要对连续路径变分。 每个局部的 Diffusion Loss 都控制了当前时间下 Cross Entropy 的增长速度。 所有的 Gaussian diffusion path 本质相同，不妨考虑最简单的：从数据 阅读全文

摘要： 扩散语言模型一定要扩散！ TL; DR：在扩散语言模型领域，连续扩散首次追平离散扩散，为后续构建低延迟、高可控、原生多模态的新一代语言模型打下基础。 本文旨在澄清扩散语言模型（Diffusion Language Model, DLM）领域中一个长期存在的偏见：“连续扩散在语言建模上天生弱于离散扩散 阅读全文

摘要： 结论 若两个连续时间马尔可夫链 (CTMC) \(X_t, \hat X_t\) 的分布列 \(\pi_t, \hat \pi_t\) 分别由时变的转移率矩阵 \(R_t\) 与 \(\hat R_t\) 生成，初始 \(\pi_0=\hat\pi_0\)，那么： \[\mathbb E_{x \s 阅读全文

摘要： 原文链接：[2010.02502] Denoising Diffusion Implicit Models (arxiv.org) 技术上，DDIM 提出 直接拿到训好的 DDPM 从 DDPM 的生成过程中删掉随机项 在此基础上大幅减少采样步数 理论上，DDIM 指出 DDPM 训练中使用的不同权 阅读全文

摘要： 流水账也没人爱看，就写三个小故事吧。 报名 说到CCSP, 首先要说CSP. CCSP之于CSP, 大概类似于NOI之于NOIP. CSP，对于OIer来说它的身份大概是NOIP筹款赛所挂靠的本体。OIer朋友们都没有来报名，不过我听说清华算协有名额，反正也就一下午的事，就报名了。进场后花了两小时A 阅读全文

摘要： 首先多元多项式是可以FFT的，做法就是每元作为主元分别FFT. 但是求逆就成问题了。 一元求逆的原理是，针对 $F_nG-1\equiv0\pmod{x^n}$ 有 $(F_nG-1)^2\equiv0\pmod{x^{2n}}$, 因此取 $F_{2n}\equiv2F_n-F_n^2G\pmod 阅读全文

摘要： 比赛 笔试和试机 试机发现本机开O2优化每秒可以跑40亿计算量。 第一试 入场开T1，觉得是个矩阵模型。怀疑过不去，打算打表找规律。发现即使没有开O2，随机数据打表只用了0.5s。想起来了，这可是40亿神机！于是直接写上去，稍微调一调就过了。然后写了点儿对拍。此时时间过去了两小时。 接着开T2，容斥 阅读全文

摘要： 题目链接 以下字符串采用Python记法。 题意 定义平方串形如 $PP$, 给定母串 $S$, 要求回答 $q$ 组询问，每组询问形如 $S[l:r]$ 有多少个本质不同平方子串。 数据范围：$|S|, q \le 2\times10^5$. 题解 这里run的记法是 $(i, j, p)$ 表示 阅读全文

摘要： Ubuntu 20.04 采用了动态工作区的设计，对于主攻NOI的OIer来说实际上并不友好。 但是我们有办法把它调教成NOI Linux的 $n \times m$ 工作区！ 首先安装优化： sudo apt-get install gnome-tweak-tool 安装后按Super键进入Das 阅读全文

摘要： Day1 进场时非常紧张。看到题瞬间放松了下来，但是同时思想意识也松懈了。 第一题看上去就是个拆点费用流。当场觉得只有0权“双向”边的情况下连退流都不用退，于是敲了个贪心上去。事实上0权“双向”边是两组点中的入点和出点相连，所以退流是非常可能的。于是爆炸了。 正解是多路增广，由于不同长度的路径数不多 阅读全文