摘要: 前几天在群里大家讨论到了“Transformer如何解决梯度消失”这个问题,答案有提到残差的,也有提到LN(Layer Norm)的。这些是否都是正确答案呢?事实上这是一个非常有趣而综合的问题,它其实关联到挺多模型细节,比如“BERT为什么要warmup?”、“BERT的初始化标准差为什么是0.02 阅读全文
posted @ 2022-01-08 22:08 Jerry_Jin 阅读(1198) 评论(0) 推荐(2) 编辑
摘要: 大家都知道,BERT的MLM(Masked Language Model)任务在预训练和微调时的不一致,也就是预训练出现了[MASK]而下游任务微调时没有[MASK],是经常被吐槽的问题,很多工作都认为这是影响BERT微调性能的重要原因,并针对性地提出了很多改进,如XL-NET、ELECTRA、Ma 阅读全文
posted @ 2022-01-08 17:11 Jerry_Jin 阅读(592) 评论(0) 推荐(0) 编辑
摘要: 自SimCLR以来,CV中关于无监督特征学习的工作层出不穷,让人眼花缭乱。这些工作大多数都是基于对比学习的,即通过适当的方式构造正负样本进行分类学习的。然而,在众多类似的工作中总有一些特立独行的研究,比如Google的BYOL和最近的SimSiam,它们提出了单靠正样本就可以完成特征学习的方案,让人 阅读全文
posted @ 2021-09-11 10:23 Jerry_Jin 阅读(1339) 评论(0) 推荐(0) 编辑
摘要: Problem Ubuntu 20.04 Xrdp Black Screen Ubuntu 20.04 Xrdp 远程桌面黑屏 remote desktop Xrdp on Ubuntu 20.04,ubuntu 20 xrdp black screen,xrdp black screen ubun 阅读全文
posted @ 2021-05-26 23:57 Jerry_Jin 阅读(3120) 评论(0) 推荐(0) 编辑
摘要: 自从Transformer出来以后,Transformer便开始在NLP领域一统江湖。而Transformer在CV领域反响平平,一度认为不适合CV领域,直到最近计算机视觉领域出来几篇Transformer文章,性能直逼CNN的SOTA,给予了计算机视觉领域新的想象空间。本文不拘泥于Transfor 阅读全文
posted @ 2021-05-26 23:37 Jerry_Jin 阅读(11174) 评论(0) 推荐(0) 编辑
摘要: Ubuntu 18.04 / 20.04 自定义锁屏时间 GUI 方法: 设置->电源->blank screen 命令行方法: 方法一 设置自动锁屏时间为1小时(3600 秒) gsettings set org.gnome.desktop.session idle-delay 3600 方法二 阅读全文
posted @ 2021-03-15 19:06 Jerry_Jin 阅读(4202) 评论(0) 推荐(1) 编辑
摘要: What is attention? 先简单描述一下attention机制是什么。相信做NLP的同学对这个机制不会很陌生,它在Attention is all you need可以说是大放异彩,在machine translation任务中,帮助深度模型在性能上有了很大的提升,输出了当时最好的sta 阅读全文
posted @ 2021-03-09 22:19 Jerry_Jin 阅读(7181) 评论(0) 推荐(0) 编辑
摘要: 原文地址时间:2018年Introductionend-to-end encoder-decoder模型存在一个问题:当将一张包括未见过的场景输入到网络中时,返回的结果仅仅就是一些显著的object,比如“there is a dog on the floor”,这样的结果与object detec 阅读全文
posted @ 2021-01-22 01:47 Jerry_Jin 阅读(691) 评论(0) 推荐(1) 编辑
摘要: 一、前言 二、DBSCAN聚类算法 三、参数选择 四、DBSCAN算法迭代可视化展示 五、常用的评估方法:轮廓系数 六、用Python实现DBSCAN聚类算法 一、前言 去年学聚类算法的R语言的时候,有层次聚类、系统聚类、K-means聚类、K中心聚类,最后呢,被DBSCAN聚类算法迷上了,为什么呢 阅读全文
posted @ 2021-01-13 22:46 Jerry_Jin 阅读(2768) 评论(0) 推荐(0) 编辑
摘要: Problem: Whenever I run spyder, It results in the error below QXcbConnection: Failed to initialize XRandr Qt: XKEYBOARD extension not present on the X 阅读全文
posted @ 2021-01-06 14:59 Jerry_Jin 阅读(1092) 评论(0) 推荐(0) 编辑