kuon61

摘要： 前言 本文试图从SDE过渡到PF-ODE，实现推理过程中的ODE采样。 等价SDE 假设前向SDE过程为 \[dx_{t}=f(t)x_{t}dt+g(t)dw_{t} \tag{1} \label{eq.1} \]其Fokker-Planck方程为 \[\frac{\partial}{\parti 阅读全文

摘要： 背景 本文尝试从SDE的视角下，统一DDPM和score-based model。 SDE 假设前向SDE过程为 \[dx_{t} = f(x_{t}, t)dt + g(t)dw_{t} \]考虑到实际情况下，\(f(x_{t}, t)\)只与\(x_{t}\)的一次项相关，因此上述公式可以改写为 阅读全文

摘要： 前言 对于attention操作，其计算复杂度随着序列长度的增加呈平方倍的增长。因此，出现了诸多尝试将计算复杂度降低为\(O(n)\)的注意力机制。然而，这些方法忽略了计算时的IO复杂度的影响，频繁的内存交换也在长序列计算attention产生了巨大时间延迟。flash attention通过减少内 阅读全文

摘要： 前言 最近在准备秋招，正好趁此机会写一下位置编码的相关内容。 首先，我们考虑不加位置编码的情况： 假设我们的输入是\([a, b, c] \in \mathbb{R}^{d \times 3}\)，我们输出为\([o_{a}, o_{b}, o_{c}]\)；此时，我们调换输入的顺序为\([b, a 阅读全文

摘要： 前言 近两年AIGC模型均在SFT之后，进行强化学习的微调，并逐渐成为主流范式，因此，记录一下学习强化学习的笔记，以供回顾。本笔记参考https://www.bilibili.com/video/BV1sd4y167NS。 在强化学习笔记（一）基本概念中，我们定义了几个基本概念，本文沿着这些概念出发 阅读全文

摘要： 前言 近两年AIGC模型均在SFT之后，进行强化学习的微调，并逐渐成为主流范式，因此，记录一下学习强化学习的笔记，以供回顾。本笔记参考https://www.bilibili.com/video/BV1sd4y167NS。 基本概念 以grid-world game为例，结合上图，给出强化学习中的一 阅读全文

摘要： 前言 前几天看到了lvmin在arxiv上发表的新作Packing Input Frame Context in Next-Frame Prediction Models for Video Generation，采用next-frame-section prediction的形式生成视频，能够生成 阅读全文

摘要： 前言 最近在研究VBench的指标选择与计算，发现其复用了多个模型，因此追根溯源，阅读了相关模型的文章，并与大家分享。第一篇要分享的论文名为GRiT: A Generative Region-to-text Transformer for Object Understanding，发表于2024年的 阅读全文

摘要： 前言 本文尝试总结score-based model的模型构建，训练目标的选择，以及采样生成方式。并且采用这一视角处理前向扩散的马尔可夫过程，给出了另一种看待扩散模型的视角。 模型构建 假设数据分布为\(p(x)\)，我们试图通过神经网络的输出\(q(x|\theta)\)拟合\(p(x)\)，即 阅读全文

摘要： 前言 在AIGC拾遗：扩散模型一文中，推导了扩散模型的前向扩散过程，训练目标和反向扩散采样。推导时，我们假设\(x_{0} \rightarrow x_{1} \dots \rightarrow x_{T}\)满足马尔科夫链，但在采样过程中，我们只使用了\(p(x_{t-1}|x_{t}, x_{0 阅读全文