aaa2222339

摘要： 1、blip-diffusion 训练： 图片向量注入变为多模态向量注入：给概念“train” 和对应的5张照片，通过Blip(image encoder + multimudal encoder)得到5个subject prompt emb，然后取平均。原图的背景需要做随机替换以防止copy现象 阅读全文

摘要： 1、Align your latent 改造2DUNET，把原来的每个层叫做spatial layer，当视频进来的时候就把时间维度映射到batchsize维度。为了让模型有时间概念，spatial layer 每层后面新增 temporal mixing layer，把空间层输出的结果（batch 阅读全文

摘要： 0、prompt2prompt 动机：认为token对应的cross attn map 具备结构信息。方法：给一个初始的promp P，一个编辑后的prompt P*，初始的噪声一样，同时通过dm生成当前时刻的cross attn map :Mt,Mt*，然后根据Mt,Mt*和 P,P*生成 Mt~ 阅读全文

摘要： 1、sota 取三元组：从常识性知识图谱中取去三元组：（head=事件1，relation=事件的关系，tail=事件2），比如Head: PersonX goes to an amusement park, Relation: xIntent, Tail: have fun riding attr 阅读全文

摘要： 1、指标 假定 Feval（X）输出图片X的 id 特征向量，Fstyle（X）输出图片X的 风格 特征向量 Uniqueness：对于一堆图片，衡量图片里面有几个人，值记为 U；如果已知有C个人了，每个人分别有一堆照片，可以衡量人和人之间的像的程度，值记为 Uclass，值越小，说明这C个人越存在 阅读全文

摘要： Warmup：训练开始阶段，将学习率从0缓增到指定大小。目的：一开始学习率较小，模型先掌握大概收敛方向，明确方向之后，学习率就可以上升了 阅读全文

摘要： 1、 480x800 这样的图片是：横向 480 个像素、纵向 800 个像素 像素间距：一个2d像素实际长多少 体素间距：一个3d像素实际长多少 阅读全文

摘要： 1、diffface：任务是原来的脸xsrc不怎么变，就背景变成 xtarget 的背景，但是脸上的神情要和 xtarget 新脸的神情类似，更重要的是人还是同一个人xsrc 训练ddpm方面： 采用基于id的 ddpm，即在epsθ(xt,t)里面加入了脸的 id 向量vid（通过预训练好的模型D 阅读全文

摘要： 1、sde角度看ddpm sde 将 ddpm 中的时间连续化，定义前向过程的sde： 反向过程的sde： 再定义扩散过程的 p(xt|x0) 分布 对下面公式左右应用待定系数法，并假设 ft(xt) = ft*x 可以求出ft，gt 和 构造神经网络sθ逼近∇log，等价于epsθ逼近eps，从而 阅读全文

摘要： ros2 工作空间包含多个功能包，1个功能包包含多个节点，通常在工作工作下新建src文件夹，src里面装功能包。每个功能包有manifest.xml 作为这个包的meta文件。colcon是用来编译的。编译完后会产生三个文件夹：build，install，log。ros2 pkg create 是创 阅读全文