凌波微步_Arborday

摘要： from：https://www.cnblogs.com/zongfa/p/9295455.html 在数理统计学中，似然函数是一种关于统计模型中的参数的函数，表示模型参数中的似然性。似然函数在统计推断中有重大作用，如在最大似然估计和费雪信息之中的应用等等。“似然性”与“或然性”或“概率”意思相近， 阅读全文

摘要： 参考资料和说明都挺清楚的： 一.Attention is all you need论文中讲模型分为多个头，形成多个子空间，每个头关注不同方面的信息。如果Multi-Head作用是关注句子的不同方面，那么不同的head就应该关注不同的Token；当然也有可能是关注的pattern相同，但是关注的内容不 阅读全文

摘要： 算是写的非常清楚的GPT个版本的介绍了 从GPT三个版本的论文名也能看出各版本模型的重点： GPT1：Imporoving Language Understanding By Generative Pre-training 强调预训练 GPT2：Lanuage Models Are Unsuperv 阅读全文

摘要： from: https://zhuanlan.zhihu.com/p/103205929 这篇博客最好的地方是题图： 正文： RoBERTa 论文原文：Roberta 项目主页中文, 作者表示，在本项目中，没有实现 dynamic mask。 英文项目主页 从模型上来说，RoBERTa基本没有什么太 阅读全文

摘要： from: https://zhuanlan.zhihu.com/p/51679783 2018年3月份，ELMo[1][2]出世，该paper是NAACL18 Best Paper。在之前2013年的word2vec及2014年的GloVe的工作中，每个词对应一个vector，对于多义词无能为力。 阅读全文

摘要： 小图画的明儿白儿的 from:https://zhuanlan.zhihu.com/p/44731789 上图是attention模型的总体结构，包含了模型所有节点及流程（因为有循环结构，流程不是特别清楚，下文会详细解释）；模型总体分为两个部分：编码部分和解码部分，分别是上图的左边和右边图示；以下选 阅读全文

摘要： from: https://www.cnblogs.com/yssjun/p/9887239.html 闭包并不只是一个python中的概念，在函数式编程语言中应用较为广泛。理解python中的闭包一方面是能够正确的使用闭包，另一方面可以好好体会和思考闭包的设计思想。 1.概念介绍 首先看一下维基上 阅读全文

摘要： from https://blog.csdn.net/u013963380/article/details/108696552 本文翻译，原文地址： https://createmomo.github.io/2017/10/08/CRF-Layer-on-the-Top-of-BiLSTM-3/ h 阅读全文

摘要： 看过讲的的最明白的一篇 https://alaaalatif.github.io/2019-04-11-gelu/ 阅读全文

摘要： from https://www.cnblogs.com/hejunlin1992/p/8723816.html “Xavier”初始化方法是一种很有效的神经网络初始化方法，方法来源于2010年的一篇论文《Understanding the difficulty of training deep f 阅读全文