研一下学习笔记

第一周 第二周

Screen

screen -S session_name           # 新建一个叫session_name的session
screen -ls(或者screen -list)   # 列出当前所有的session
            # 回到session_name这个session
screen -d session_name           # 远程detach某个session
screen -d -r session_name        # 结束当前session并回到session_name这个session
ctrl-a x   # 锁住当前的shell window,需用用户密码解锁
ctrl-a d   # detach,暂时离开当前session,将当前 screen session 转到后台执行,并会返回没进 screen 时的状态,此时在 screen session 里,每个shell client内运行的 process (无论是前台/后台)都在继续执行,即使 logout 也不影响
ctrl-a z   # 把当前session放到后台执行,用 shell 的 fg 命令则可回去。

使用screen -r session_name出现There is no screen to be resumed matching错误:

因为意外断网导致的无法打开(1个screen无法同时打开2次),使用screen -d session_name 再重新连接。

powershell激活conda失败

方法一:使用conda激活powershell

https://blog.csdn.net/z_dmsd/article/details/107394983

方法二:让vscode使用cmd作为命令行

什么可以质疑,什么不能质疑

除了质疑这件事本身,别的东西都可以质疑。

算法优化与高质量训练图之间的平衡

高质量的深度图仍然是稀缺的 ,可能导致深度学习模型得到次优解。

​ ——JLDCF CVPR 2020

我们已经有了更好的训练、测试集(COME15K、ReDWeb-S)我们仍然只用(NJUD、NLPR)去训练吗?(这里更好,指的是深度图成像更准确,不单指像素更高)

用更好的训练集,得到更优秀的模型。训练集的提升,能为模型性能的提升带来多大的帮助,模型的改善能通过评测指标进行量化,训练集质量的提升,能够量化吗?用高质量训练集训练出来的模型会对低质量图集不敏感吗?(只做实验,得出量化结论能发论文吗?

以下可用在消融实验中(得花多少GPU小时啊):

  • 如何量化训练集图片质量(使用基础模型进行校验,基础模型表现越好,说明图片质量越高)
  • 训练图片越多越好吗?什么时候到达极限?分批次进行试验?

天马行空

JLDCF

联合学习和密集协作融合

其动机是,尽管深度图和RGB图来自不同的模态,它们却具有相似的显著性特征/线索,如:强烈的前景-背景对比[58],[59],[60]、物体轮廓闭合性[61],[62]和与图像边界的连通性[63],[64]。这使得跨模态迁移成为可能,即使对深度学习模型亦是如此。

将一张深度图视为彩色图的特例并用一个共享CNN进行RGB和深度特征的提取。

ViT

将一张图片分割成无数(16×16)patch,然后拉平送进Transformers (存疑,机械划分patch未尝不是对语义的打乱?(不然呢?还能先分割成语义再送进去?鸡生蛋?)

Transformer中的attention,具备着不同特征空间(multi-head)以及全局范围(non-local)的特征聚合能力,确实适合多模特征表达的对齐和融合。虽然它不是多模态任务的唯一解,但确是目前十分重要的技术方案。https://www.zhihu.com/question/441073210

结合 JLDCF 和 ViT

将rgb图中某些patch随机替换成depth的,是否会有效果?

(注意:Transformer中提到多模态融合往往指的是图文匹配)

图文匹配内容是否能用到rgbd融合中?

Segformer

SegFormer,是一个简单、高效而强大的语义分割框架,将 Transformers 与轻量级多层感知(MLP)解码器统一起来。

它有两个吸引人的特点:

1、SegFormer 包括一个新颖的分层结构 Transformer 编码器,输出多尺度的特征。它不需要位置编码,从而避免了位置编码的插值,这种插值在测试分辨率与训练不同时会导致性能下降。

2、SegFormer 避免了复杂的解码器。所提出的 MLP 解码器聚合了来自不同层的信息,从而结合了局部注意和全局注意,呈现出强大的表征。

并证明这些简单和轻量级的设计是在 Transformers 上进行高效分割的关键。

作者又对它进行的扩展,得到了从 SegFormer-B0 到 SegFormer-B5 的一系列模型,达到了比以前的同类方法明显更好的性能和效率。

例如,SegFormer-B4 在 ADE20K 上实现了 50.3% 的mIoU,参数为 64M,比之前的最佳方法小 5 倍,好 2.2%。其中最好的模型,SegFormer-B5,在Cityscapes 验证集上实现了 84.0% 的 mIoU,并在 Cityscapes-C 上显示了出色的 zero-shot robustness(零照度)。

作者 | Enze Xie, Wenhai Wang, Zhiding Yu, Anima Anandkumar, Jose M. Alvarez, Ping Luo

单位 | 香港大学;南京大学;英伟达;加州理工学院

论文 | https://arxiv.org/abs/2105.15203

代码 | https://github.com/NVlabs/SegFormer

VAN 清华&南开

https://zhuanlan.zhihu.com/p/470850053

第三周

双显卡校园网环境不能使用PVE

使用PVE创建两个虚拟机分别显卡直通,需要修改grub

修改grub之后,物理机便不会再显示ip,也无法登录操作

校园网环境中,如果ip发生变化,将无法进行页面访问。。。

https://www.bilibili.com/video/av549831645 32:45

(前置路由器或许可以解决?)

posted @ 2022-02-20 22:25  wickyan  阅读(163)  评论(0)    收藏  举报