emanlee - 博客园

2023年2月22日

摘要：以下（以上）内容来自(参考): https://blog.csdn.net/gailj/article/details/123664828 经典论文——VIT、Swin Transformer、MAE、CILP 针对视觉Transformer方面的工作，对当前热点研究做一下总结。主要是VIT、Swi 阅读全文

posted @ 2023-02-22 22:28 emanlee 阅读(1732) 评论(0) 推荐(0)

2023年2月21日

嵌入与表示学习 embedding & representation learning， embedding & Encoding

摘要：视频： https://www.bilibili.com/video/BV1Cf4y1e7Ht/?spm_id_from=333.788&vd_source=6292df769fba3b00eb2ff1859b99d79e Embedding Embedding 是一个将离散变量转为连续向量表示的一阅读全文

posted @ 2023-02-21 18:28 emanlee 阅读(1231) 评论(0) 推荐(0)

图卷积网络GCN（2）

摘要：图卷积网络（2）为什么要使用图(Graph)？很多问题在本质是都可以表示为图的形式。在真实世界中，我们会发现很多数据其实是以图的形式存在的，比如分子网络，社交网络以及论文引用网络等等。基于图的任务针对图数据，通常有以下几种比较常见的任务类型：结点分类(Node classification 阅读全文

posted @ 2023-02-21 16:47 emanlee 阅读(78) 评论(0) 推荐(0)

图卷积网络GCN（3）

摘要：图卷积网络(GCN) 论文地址：Semi-supervised Classification with Graph Convolutional Networks GCN是一种能够直接作用于图并且利用其结构信息的卷积神经网络。这篇文章解决的是在一个图中，只有少部分结点的标签是已知情况下(Semi-s 阅读全文

posted @ 2023-02-21 16:38 emanlee 阅读(233) 评论(0) 推荐(0)

2023年2月20日

深入理解残差模块（残差函数，残差块block，residual模块，残差结构）

摘要：简单的堆叠卷积层和池化层行不行？堆叠在20层的网络结构的时候，模型的训练错误在1%-2%左右，但是当训练的层数增加到56层的时候，训练的错误在7%-8%。很明显通过卷积层和池化层的增加是不行的。是什么原因造成训练的结果很差的呢？两个问题：随着网络层数的增加，梯度消失和梯度爆炸这个问题越来越明显。我阅读全文

posted @ 2023-02-20 20:17 emanlee 阅读(23364) 评论(0) 推荐(1)

Transformer 模型中的positional encoding(位置编码)计算理解

摘要： transformer中的positional encoding(位置编码)计算理解博客： https://blog.csdn.net/qq_39783265/article/details/106790875 https://avoid.overfit.cn/post/dc84ff7287e54 阅读全文

posted @ 2023-02-20 16:40 emanlee 阅读(3908) 评论(0) 推荐(1)

2023年2月19日

Transformer 模型 1

摘要： Transformer 模型 1 以下内容来自 https://mbd.baidu.com/newspage/data/landingsuper?isBdboxFrom=1&pageType=1&urlext=%7B%22cuid%22%3A%22_8HMu0aJHa_7aHtQga2oa_Oqv8 阅读全文

posted @ 2023-02-19 18:47 emanlee 阅读(408) 评论(0) 推荐(0)

自注意力机制：8大步骤图解+代码

摘要：以下来自 https://www.sohu.com/a/356558093_473283 来源：towardsdatascience 作者：Raimi Karim 编辑：肖琴 https://towardsdatascience.com/illustrated-self-attention-2d62 阅读全文

posted @ 2023-02-19 17:33 emanlee 阅读(1961) 评论(0) 推荐(0)

错误0x80071AC3:无法完成操作，因为卷有问题。请运行chkdsk 并重试。

摘要： CMD窗口，执行 chkdsk G:/f 其中，G: 为您的盘的编号阅读全文

posted @ 2023-02-19 12:35 emanlee 阅读(1521) 评论(0) 推荐(0)

注意力机制（2）

摘要：下图来自：https://baijiahao.baidu.com/s?id=1683481435616221574&wfr=spider&for=pc 下面内容来自 https://mp.weixin.qq.com/s?__biz=MzU0NjgzMDIxMQ==&mid=2247592410&id 阅读全文

posted @ 2023-02-19 10:49 emanlee 阅读(200) 评论(0) 推荐(0)