整体背景 本文实现了在colab环境下基于tf-nightly-gpu的BERT中文多分类，如果你在现阶段有实现类似的功能的需求，相信这篇文章会给你带来一些帮助。 准备工作 1.环境： 硬件环境： 直接使用谷歌提供的免费训练环境colab，选择GPU 软件环境： tensorflow：tensorf Read More
posted @ 2020-01-22 16:21
玄天妙地
Views(4593)
Comments(5)
Diggs(0)
转载并翻译Jay Alammar的一篇博文：Visualizing A Neural Machine Translation Model (Mechanics of Seq2seq Models With Attention) 原文链接：https://jalammar.github.io/visu Read More
posted @ 2019-11-28 11:11
玄天妙地
Views(1223)
Comments(0)
Diggs(0)
LCS和莱文斯坦距离的解决思路非常类似，都是利用动态规划的方式来解决。可以参见上一篇“莱文斯坦距离”，两个概念对比着看理解为更深入！ LCS定义 同样引用百科： 最长公共子序列（LCS）是一个在一个序列集合中（通常为两个序列）用来查找所有序列中最长子序列的问题。与查找最长公共子串的问题不同的地方是： Read More
posted @ 2020-08-29 16:42
玄天妙地
Views(4680)
Comments(0)
Diggs(0)
编辑距离定义与分类 编辑距离的定义，直接引用百科： 编辑距离是針對二個字符串的差异程度的量化量测，量测方式是看至少需要多少次的处理才能将一个字符串变成另一个字符串。 编辑距离可以用在自然语言处理中，例如拼写检查可以根据一个拼错的字和其他正确的字的编辑距离，判断哪一个或几个是比较可能的字。 DNA也可 Read More
posted @ 2020-08-25 20:07
玄天妙地
Views(2945)
Comments(0)
Diggs(0)
这一篇比较简单，就不展开记录了，方差和标准差的计算方法记住了就可以。 另外，记得标准差和方差都是衡量样本集中程度的，方差或标准差越大，样本越向两边离散；方差或标准差越小，样本越向mean集中。 标准差在对称分布下面，有几个在统计学上非常有用的数字：68%，95%，99.7%，意思是： 用median Read More
posted @ 2019-08-09 16:58
玄天妙地
Views(914)
Comments(0)
Diggs(0)
介绍箱线图之前，需要先介绍若干个其需要的术语 min：整个样本的最小值 max：整个样本的最大值 Range：即整个样本的取值范围，Range = max - min Inter-Quartile Range (IQR)：四分之一range，即通过取3次中位数（median），将整个range分成四 Read More
posted @ 2019-08-09 16:15
玄天妙地
Views(1302)
Comments(0)
Diggs(0)
茎叶图的只做方法如下： 举个例子：我们有一份奥斯卡影后的年龄集合： 34 34 27 37 42 41 36 32 41 33 31 74 33 49 38 61 21 41 26 80 42 29 33 36 45 49 39 34 26 25 33 35 35 28 30 29 61 32 33 Read More
posted @ 2019-08-09 15:52
玄天妙地
Views(1158)
Comments(0)
Diggs(0)
单个定量变量的直方图表示 大家知道，定量变量是连续型变量，即不会像分类变量那样有明显的分类，那么如何将其画成直方图呢？一般来说，会将其按照某个维度来将其分组（group），举个例子。 我们有15个学生的考试成绩：88, 48, 60, 51, 57, 85, 69, 75, 97, 72, 71, Read More
posted @ 2019-08-09 15:22
玄天妙地
Views(1928)
Comments(0)
Diggs(0)
这个系列的随笔，起源于工作中遇到的问题：拿到一份试验数据后，该如何分析其内容并得到有价值的结论？ 一般说来，某个产品在上线之前，都会在小范围内做实验，看看用户对产品新功能/新样式的反映如何，实验的结论会产出很多体现用户反映的各种维度、各种指标的数据，而且量级都比较大（可能几万个甚至十几万个值）。那么 Read More
posted @ 2019-08-08 11:01
玄天妙地
Views(774)
Comments(0)
Diggs(0)
探索性数据分析（Exploratory Data Analysis） 本节课程先从统计分析四步骤中的第二步：EDA开始。 课程定义了若干个术语，如果学习过机器学习的同学，应该很容易类比理解： population：上节课说过，整体数据集合被称作population individual：其中每个个体 Read More
posted @ 2019-08-07 22:32
玄天妙地
Views(820)
Comments(0)
Diggs(0)
浙公网安备 33010602011771号