摘要：
RoBERTa: A Robustly Optimized BERT Pretraining Approach. Yinhan Liu, Myle Ott, Naman Goyal, et al. 2019 BERT提出之后，有很多后续工作XLNet、ALICE、XLM、MT-DNN相继被提出，成绩 阅读全文
posted @ 2020-08-05 00:33
YoungF
阅读(745)
评论(0)
推荐(0)
摘要：
Beyond Accuracy: Behavior Testing of NLP Models with CheckList. Marco Tulio Ribeiro, Tongshuang Wu, Carlos Guestrin, Sameer Singh. ACL 2020 摘要 在测试集上评估 阅读全文
posted @ 2020-08-04 00:18
YoungF
阅读(586)
评论(0)
推荐(0)
摘要：
前言 激活函数，是神经网络中实现非线性计算的关键，再深的线性神经网络，本质上都和单步线性计算等价。所以，激活函数这个非线性单元是神经网络化腐朽为神奇的关键。 激活函数的要求： 计算简单，特别是导函数计算简单 连续可导（允许在若干个点上不可导） 值域合理，这样可以尽量使得不同网络层的输入和输出数据相似 阅读全文
posted @ 2020-08-03 00:19
YoungF
阅读(956)
评论(0)
推荐(0)
摘要：
损失函数度量的是训练的模型与真实模型之间的距离。一般以最小化损失函数为目标，对模型进行不断优化。 常见的损失函数在计算过程中都会接受两个参数：模型预测值y_pred和正确答案y_true。 由于背后的数学计算过程相同，所以即使是不同深度学习框架这些损失函数的api也是大同小异。本文以keras为例， 阅读全文
posted @ 2020-08-02 17:23
YoungF
阅读(2178)
评论(0)
推荐(0)
摘要：
性质 判别模型 分类模型 模型 \[ P(Y=1|x) = \frac{e^{w \cdot x}}{1+e^{w \cdot x}}\\ P(Y=0|x)=\frac{1}{1+e^{w \cdot x}} \] 损失函数 最大似然估计 \[ \begin{aligned} L(w) & = \p 阅读全文
posted @ 2020-08-01 00:30
YoungF
阅读(123)
评论(0)
推荐(0)
摘要：
参数估计(Parameter Estimate)就是通过一系列算法，来求出模型的最优参数。在各个机器学习深度学习的框架里，都变成了optimizer的活了。 其实这个名字很奇怪，但是在比较早的机器学习论文里都是这么叫的，我们重点来关注下里面涉及的一些算法。 这里主要关注的是 最小二乘法 梯度下降 牛 阅读全文
posted @ 2020-08-01 00:29
YoungF
阅读(1131)
评论(0)
推荐(0)
摘要：
注意力的种类有如下四种： 加法注意力, Bahdanau Attention 点乘注意力, Luong Attention 自注意力, Self-Attention 多头点乘注意力, Multi-Head Dot Product Attention（请转至Transformer模型） 1. Bahd 阅读全文
posted @ 2020-08-01 00:27
YoungF
阅读(2247)
评论(0)
推荐(0)
摘要：
01 《清平调·云想衣裳花想容》 李白 云想衣裳花想容， 春风拂槛露华浓。 若非群玉山头见， 会向瑶台月下逢。 02 《离思五首·其四》 元稹 曾经沧海难为水，除却巫山不是云。 取次花丛懒回顾，半缘修道半缘君。 03 叶底藏花一度，梦里踏雪几回。 ——《一代宗师》 04 伊人何在，总在寒冷清秋！ — 阅读全文
posted @ 2020-08-01 00:23
YoungF
阅读(318)
评论(0)
推荐(0)
摘要：
Text preprocessing is an essential part of NLP tasks. Conversion from Complicated Chinese to Simple Chinese The code below has a dependency on two pyt 阅读全文
posted @ 2020-08-01 00:17
YoungF
阅读(191)
评论(0)
推荐(0)
摘要：
前言 线性代数中介绍了方阵的特征值分解，将其一般化到任意形状的矩阵对应奇异值分解。 本文暂时假设所有矩阵都为实矩阵。 特征值分解(Eigenvalue Decomposition, EVD) 线性代数中的相似对角化 对于方阵$A_{n \times n}\(，求解其特征值\)\lambda_1, . 阅读全文
posted @ 2020-04-29 15:20
YoungF
阅读(907)
评论(0)
推荐(0)
浙公网安备 33010602011771号