星辰大海

摘要： 方法 Qwen2-VL系列包含三种体量的模型，分别是Qwen2-VL-2B, Qwen2-VL-7B, Qwen2-VL-72B。表1列举出这些模型的超参数和重要信息。值得注意的是，这三个模型视觉编码器始终都采用675M参数量的ViT，没有因模型而改变。此举是为了确保ViT部分的计算量保持常量，没有 阅读全文

摘要： Qwen-VL论文笔记 摘要 在这项工作中，我们介绍Qwen-VL系列，一组旨在感知和理解文本与图像的大规模视觉语言模型。从Qwen-LM这个基础大语言模型出发，我们通过如下四条精心设计，赋予了其视觉能力： （1）视觉编码器；（2）输入输出接口设计；（3）三阶段训练流程；（4）多语言多模态清理后的语 阅读全文

摘要： 简介 神经常微分方程模型是一类新的深度神经网络模型，不同于VGG、ResNet等这些有有限个离散的隐藏层构成的神经网络模型。 例如残差网络、循环神经网络解码器、归一化流等模型建立起复杂的变换，是通过一个变换（相对简单的变换，比如ReLU变换）序列实现的。公式化表示为$$\mathbf h_{l+1} 阅读全文

摘要： 通用pair对加权方案 参数是如何更新的？ 设\(x_i,x_j \in R^d\)，分别表示两个样本的特征向量，且特征向量模长为1. 定义这两样本相似度为这两个特征的内积, 即\(S_{ij}=<x_i, x_j>\). 由于特征向量模长为1，因此内积便是余弦相似度。 考虑基于pair对的损失\( 阅读全文

摘要： 接着扩散模型 简述训练扩散模型过程中用到的损失函数形式。完整的观察数据\(x\)的对数似然如下： \[\begin{aligned} \mathrm{log}\ p(x) &\geq \mathbb{E}_{q_{\phi}(z_{1:T}|z_0)} \mathrm{log} \frac{p(z_ 阅读全文

摘要： OpenAI Sora技术报告官方链接 可能无法访问 Video generation models as world simulators 我们探索了视频数据生成模型的大规模训练方法。具体来说，在不同时长、分辨率和纵横比的视频和图片数据上联合训练的文本条件扩散模型。利用transformer架构操 阅读全文

摘要： 概况 目标 给定一张参考人物图\(I_{ref}\)和运动序列\(p^{1:N}=\{p_1, \cdots, p_N\}\)，\(N\)是视频帧长度。论文目标是合成一个运动连贯的视频\(I^{1:N}=\{I_1, \cdots, I_N\}\)，合成视频中人物与参考人物是一样的，且遵循所提供的运 阅读全文

摘要： AnimateAnyone 目标 给定一张人物的图像和一个运动姿态序列，然后生成这种运动姿态的参考人物的视频片段。 预备知识 视频生成依赖的基础知识如扩散模型、隐变量扩散模型等在此不再赘述，可以自行查阅相关知识。本博客可供参考的有扩散模型 Diffusion Model和Latent Diffusi 阅读全文

摘要： 预备知识 视频生成依赖的技术点：Stable Diffusion，Latent Diffusion Model，DreamBooth， LoRA。此处不进行相关知识点介绍，如需请查阅相关资料 个性化动画生成 目标 生成个性化动画的图像模型，一般要求用对应的视频训练集进行额外的微调。而这将使事情变得困 阅读全文

摘要： 有不少介绍扩散模型的资料，其中"Understanding Diffusion Models: A Unified Perspective"论文是我读到的解释最详细也是最易于理解的一个。 数学符号 用字母\(x\)表示可观测到变量，用字母\(z\)表示隐变量 用\(q_{\phi}(z|x)\)表示 阅读全文