随笔分类 - AI
摘要：混淆矩阵 预测 Positive 预测 Negtive 真实 Positive TP FN 真实 Negtive FP TN precision、recall和f1 \(precision=TP/(TP+FP)\) \(recall=TP/(TP+FN)\) 关于precision和recall的解
阅读全文
摘要：def softmax(x): x -= np.max(x, axis= 1, keepdims=True) f_x = np.exp(x) / np.sum(np.exp(x), axis=1, keepdims=True) return f_x 第一步：减去最大值。 因为在求exp时，可能因为指
阅读全文
摘要：在NLP任务中，输入的大多是一个句子，多个句子组成一个batch。模型本身不能直接处理文本，所以需要先把文本转化成数字。流程大多数是： 分词->构建词表->词嵌入 分词 分词是将一个句子拆分成一个个单词/短语，这些单词/短语称为token，分词被叫做tokenize。 tokenize的粒度有wor
阅读全文
摘要：用conda安装新版transformers后，啪，报了个错 ImportError: /lib/x86_64-linux-gnu/libm.so.6: version `GLIBC_2.29' not found (required by /data/jcdu/miniconda3/envs/ma
阅读全文
摘要：交叉熵损失，会自动给输出的logits做softmax，然后和真是标签计算交叉熵，然后再取相反数 https://zhuanlan.zhihu.com/p/383044774 CrossEntropyLoss(y_hat, y_truth) = -sum(y_truth_one_hot * log(
阅读全文
摘要：pytorch如何保存与加载训练模型 - 简书 Pytorch冻结部分层的参数 - 简书 剪枝 （论文 + 代码）_看不见我呀的博客-CSDN博客_剪枝代码 Pytorch 剪枝操作实现 - 虾野百鹤 - 博客园 pytorch官方的剪枝教程（推荐，简单明了，比看别人的博客好的多） Pruning
阅读全文
摘要：Q&A： Q：BERT输如和输出是什么？ A：输入是句子，每个句子由n个单词组成，也就是输入的形状是[batch_size, sentence_len]。这里每个单词用一个整数来表示，输入后对每个单词进行embbding，之后的维度是[batch_size, sentence_len, emb_di
阅读全文
摘要：推荐一篇文章：通俗理解word2vec - 简书 认真读完上文后会理解word2vec 本文做点重点解释： word2vec的输入是一个单词上下文中的 \(C\) 个单词one-hot编码，你语料库有几个单词这个one-hot向量就是几维的。假定语料库有 \(V\) 个单词，每个单词的ont-hot
阅读全文
摘要：由于老是忘记transformer的细节，今天整个笔记记一下，免得又忘了 一个batch 有batch_size句话，一句话有n个单词，不够就pad到n，超出就截断 嵌入层嵌入后，输出维度是[batchsize, n, d_model] 也就是每个单词的嵌入是一个(1, d_model)的向量 进入
阅读全文
摘要：对于一张图片，每个卷积核的通道数都和图片通道数一样，用n个卷积核进行卷积得到的结果就是一个n通道的特征图。 卷积的步长（stride）和padding决定了产生的特征图的size 对于一张7*7*3的图片（长7，宽7，3通道），使用两个3*3*3的卷积核（长3，宽3，3通道）进行卷积，如下图： 最左
阅读全文
浙公网安备 33010602011771号