文章分类 - NLP
摘要：***************************原文 https://zhuanlan.zhihu.com/p/420090646 ******************************** 自回归 auturegression 语言模型，例如GPT，采用自左向右解码的方式，适用于自然语
阅读全文
posted @ 2022-01-03 23:34
大大的海棠湾
摘要：lstm和bilstm 之间的区别 lstm是97年提出，gru是14年提出。 *************************** https://www.cnblogs.com/syw-home/p/13233989.html ***************************** bil
阅读全文
posted @ 2021-12-23 11:07
大大的海棠湾
摘要：**********************************原文 https://zhuanlan.zhihu.com/p/158375055 *************************** 具体是将输入一个batch的数据均匀分成多份，分别送到对应的GPU进行计算。与module有
阅读全文
posted @ 2021-12-23 10:39
大大的海棠湾
摘要：RDrop Regularized Dropout for Neural Networks 微软2021年6月底发布新的解决方案 在训练过程中，为了节省训练时间，并不是将同一个输入输入两次，而是将输入句子复制一遍，然后拼接在一起， Dropout使用技巧 1 经过验证，隐含节点dropout率等于0
阅读全文
posted @ 2021-12-22 16:08
大大的海棠湾
摘要：************************************* https://blog.csdn.net/katrina1rani/article/details/110068578 ************************ 使用三种特殊的mask的预训练目标，从而使模型可以用
阅读全文
posted @ 2021-12-01 02:28
大大的海棠湾
摘要：************* 原文 https://mp.weixin.qq.com/s/5KkDjCJ_AoC0w7yh2WcOpg *********************** faiss是facebook为稠密向量提供高效相似度计算搜索和聚类，支持十亿级别向量的搜索，为近邻搜索库 向量机大小由
阅读全文
posted @ 2021-12-01 02:09
大大的海棠湾
摘要：***********************原文 https://mp.weixin.qq.com/s/L7PN1xMm37nI60MWZF-n2w **************************** 双塔分离 训练的时候 1 将用户的信息喂入一个DNN ，最终得到一个user embedd
阅读全文
posted @ 2021-11-11 02:13
大大的海棠湾
摘要：********************原文 https://blog.csdn.net/anshiquanshu/article/details/112384896 ***************************** 具体的例子如下 样本 我/爱/机器/学习 和 I/love/machin
阅读全文
posted @ 2021-11-06 23:54
大大的海棠湾
摘要：Dropout在训练过程中，随机地忽略部分神经元，即是在正向传播的过程中，这些被忽略的神经元对下游神经元的贡献暂时消失，在反向传播过程中，这些神经元也不会有任何的权重更新。 每一批次数据，由于随机性提出神经元，使得网络具有一定的稀疏性，从而能减轻了不同特征之间的协同效应。而且由于每次被剔除的神经元不
阅读全文
posted @ 2021-11-04 11:15
大大的海棠湾
摘要：传统的seq2seq模型本质上是一个encoder-decoder结构，编码器和解码器两部分内部使用rnn网络，编码器和解码器中间通过语义变量相连接。 这样做的目的是通过编码器将整个序列数据的信息编码成一个语义变量，然后解码器通过语义变量和前一个时刻解码器的输出来得到当前时刻的输出。传统的seq2s
阅读全文
posted @ 2021-10-07 01:14
大大的海棠湾
摘要：*********************************原文 https://www.cnblogs.com/dplearning/p/10060130.html ******************************************************* 基本概念 1
阅读全文
posted @ 2021-07-30 10:37
大大的海棠湾
摘要：***************************原文 https://www.jianshu.com/p/53e379483f3e ********************************** BM25算法，通常用来作为搜索相关性评分 一句话概括主要思想：对用户query进行语素解析(
阅读全文
posted @ 2021-07-29 16:16
大大的海棠湾
摘要：********************原文 https://www.zhihu.com/question/52398145 ********************** 目标函数和损失函数区别： 对于目标函数来说有约束条件下的最小化就是损失函数。 ********************* 原文
阅读全文
posted @ 2021-07-14 16:37
大大的海棠湾
摘要：模型可以分为自回归模型和自编码模型 1 自回归模型(Autoregressive model AR模型)：是统计上一种处理时间序列的方法，用同一个变数例如x的之前各期的数据，也就是x1 xt-1来预测xt的表现，并假设他们为一线性关系。 根据上文内容预测下一个可能跟随的单词，即从左到右的语言模型任务
阅读全文
posted @ 2021-04-28 12:32
大大的海棠湾
摘要：tf.placeholder(dtype,shape=None，name=None) 就是占位的意思， 直接传给run()会报错的，必须通过feed_dict方法传递给Session.run() Tnesor.eval() 或者Opertaion.run()
阅读全文
posted @ 2020-09-01 20:38
大大的海棠湾
摘要：在分词和去停用词之后，就需要对文本特征进行提取，常用的传统方法为：TFIDF 信息增益法 词频法 X2统计法 互信息法等 1 TFIDF方法 它是一种统计方法，根据字词在文本中出现的次数和在整个语料中出现的文档频率来计算一个词在整个预料中的重要程序 调包语句 from sklearn.freatur
阅读全文
posted @ 2020-06-22 20:37
大大的海棠湾
摘要：1 CountVectorizer https://blog.csdn.net/weixin_38278334/article/details/82320307 CountVectorizer 是 特征数值计算类，是一个文本特征提取方法，对于每一个训练文本，他只考虑每种词汇在该训练文本中出现的概率。
阅读全文
posted @ 2020-06-22 18:35
大大的海棠湾
浙公网安备 33010602011771号