aaa2222339

摘要： Warmup：训练开始阶段，将学习率从0缓增到指定大小。目的：一开始学习率较小，模型先掌握大概收敛方向，明确方向之后，学习率就可以上升了 阅读全文

摘要： 1、 480x800 这样的图片是：横向 480 个像素、纵向 800 个像素 像素间距：一个2d像素实际长多少 体素间距：一个3d像素实际长多少 阅读全文

摘要： 1、diffface：任务是原来的脸xsrc不怎么变，就背景变成 xtarget 的背景，但是脸上的神情要和 xtarget 新脸的神情类似，更重要的是人还是同一个人xsrc 训练ddpm方面： 采用基于id的 ddpm，即在epsθ(xt,t)里面加入了脸的 id 向量vid（通过预训练好的模型D 阅读全文

摘要： 1、sde角度看ddpm sde 将 ddpm 中的时间连续化，定义前向过程的sde： 反向过程的sde： 再定义扩散过程的 p(xt|x0) 分布 对下面公式左右应用待定系数法，并假设 ft(xt) = ft*x 可以求出ft，gt 和 构造神经网络sθ逼近∇log，等价于epsθ逼近eps，从而 阅读全文

摘要： ros2 工作空间包含多个功能包，1个功能包包含多个节点，通常在工作工作下新建src文件夹，src里面装功能包。每个功能包有manifest.xml 作为这个包的meta文件。colcon是用来编译的。编译完后会产生三个文件夹：build，install，log。ros2 pkg create 是创 阅读全文

摘要： 模型：cpmbee lightweight fine-tuning：冻结模型的大部分参数，只训练一小部分（可以插入一个任务层，训练任务层的参数） 阅读全文

摘要： 0、beit vision Transform 用 dvae 做图像的编码和解码 dvae： 1、beit2 linear probe ： 通过将最后一层替换成线性层，并只训练该线性层 vqkd： 如果仅仅 evaluate，则算完 cluster_size 之后，上面的（更新codebook）就不 阅读全文

摘要： Transformer生成的各个词向量具有各项异性问题（anisotropic，representation degeneration problem），即词向量都聚集在一个狭小的锥形空间，任何两个词都具备相似度，这个可以通过对词向量矩阵做低秩近似到2维平面可以看出来（即将向量映射到二维），此处的低 阅读全文

摘要： 1、AGPC 针对一篇博客，可以根据用户画像个性化输出用户的评论 数据集格式：1个博客，该博客下的所有评论，评论由评论内容和评论者的信息组成 e(x1)...e(xn)：博客的分词+id映射+embeding e(d1)...e(dn)：用户个人介绍（比如个性签名）的分词+id映射+embeding 阅读全文

摘要： 【JS散度】 由于KL散度的不对称性问题使得在训练过程中可能存在一些问题，在KL散度基础上引入了JS散度，JS散度是对称的，其取值是 0 到 1 之间。如果两个分布 P,Q 离得很远，完全没有重叠的时候，那么JS散度值是一个常数（ log2），此时梯度消失（为0）。JS散度越小，2个分布越相似 JS 阅读全文