kalice

摘要： 中文 mpl.rcParams['font.sans-serif'] = ['SimHei'] mpl.rcParams['axes.unicode_minus'] = False 设置seaborn风格 sns.set_theme(style='darkgrid') x = np.linspace 阅读全文

摘要： 做的第一个nlp任务，用的textcnn来实现推特文本分类。 任务描述 判断一个tweet是否真的再说现实里的灾难，而不是说只是用一些类似灾难的形容词。 数据预处理 import torch import torchtext import torch.nn as nn import torch.ut 阅读全文

摘要： texthero hugging face tokenizer 阅读全文

摘要： 这个想法其实由来已久，一直是想对github里机器人账号和正常User账号进行二分类。刚好最近做了一个actor中间表，发现github里会提供User的type，这个type里有User也有Bot。于是我就想简单用一下这些账号的用户名做一个二分类训练。 导入需要的包 import matplotl 阅读全文

摘要： 终于来到transformer了，之前的几个东西都搞的差不多了，剩下的就是搭积木搭模型了。首先来看一下transformer模型，OK好像就是那一套东西。 transformer是纯基于注意力机制的架构，但是也是之前的encoder-decoder架构。 层归一化 这里用到了层归一化，和之前的批量归 阅读全文

摘要： 这个多头attention确实挺搞的，这个东西绕来绕去，看torch的文档也看不懂，看源码也迷迷糊糊的，可能我的智商就是不够吧。。。枯了 论文里的公式求法，可以看到它因为是self-multiheadsAttention。多头自注意力机制，所以它这里的Q K V 实际上是同一个东西，也就是最后一维都 阅读全文

摘要： 因为自己开始了transformer的学习，但transformer的学习还需要一点卷积里的基础知识。 这里主要还是说学习一个ResNet。 在这张图里，五角星代表了最优位置。对于非嵌套的函数，虽然函数变大变复杂了，但其实还是在远离最优点。但是对于嵌套的函数，就可以做到越来越解决最优点，至少不会出现 阅读全文

摘要： 批量归一化实际上也是一个层，可以直接调用torch的api。 我们在训练顶部的层，实际上干的就是在拟合底部层。所以顶部的层会收敛的很快，但是底部的层数据变化后，顶部又要重新进行训练。 一个简单的实现就是将分布的均值和方差进行固定。这个实现也很简单。 \[ \mu_{B}=\frac{1}{|B|} 阅读全文

摘要： 训练集、测试集、验证集的划分 fixed or random fixed split：对dataset只划分一次 random split： 对dataset进行random split，但是对不同的random seed得到的performance做一个求平均。 graph is special 阅读全文

摘要： 之前在seq2seq算法上浪费了太多时间了。。。搞得本来早就应该进行Attention被拖到现在，真实无语了，被自己的愚蠢给吓到了。 What is Attention 我个人的理解是Attention是一种重要度区分机制。 注意力使得我们关注的东西具有了区分度，也就是说，原本没有差异的一组事物，被 阅读全文