摘要： 两种形式的LSTM变体 Child-Sum Tree-LSTMs N-ary Tree-LSTMs https://paperswithcode.com/paper/improved-semantic-representations-from-tree 阅读全文

摘要： 核心思想 基于阅读理解中QA系统的样本中可能混有对抗样本的情况，在寻找答案时，首先筛选出可能包含答案的句子，再做进一步推断。 方法 Part 1 given: 段落C query Q 段落切分成句子： 每个句子和Q合并： 使用依存句法分析得到表示： 基于T Si T Q ，分别构建 Tree-LST 阅读全文

摘要： lower_bound( )和upper_bound( )都是利用二分查找的方法在一个排好序的数组中进行查找的。 在从小到大的排序数组中， lower_bound( begin,end,num)：从数组的begin位置到end-1位置二分查找第一个大于或等于num的数字，找到返回该数字的地址，不存在 阅读全文

摘要： 简单介绍 LSA和传统向量空间模型(vector space model)一样使用向量来表示词(terms)和文档(documents)，并通过向量间的关系(如夹角)来判断词及文档间的关系；不同的是，LSA 将词和文档映射到潜在语义空间，从而去除了原始向量空间中的一些“噪音”，提高了信息检索的精确度 阅读全文

摘要： 判断文档相似性的传统方法是通过查看两个文档共同出现的词项（terms，不重复的words）有多少，如TF-IDF等。但这种方法没有考虑到文字背后的语义关联，可能在两个文档共同出现的词项很少甚至没有，但两个文档是相似的。 TF-IDF是Term Frequency - Inverse Document 阅读全文

摘要： 1、似然函数 概率和似然的区别：概率是已知参数的条件下预测未知事情发生的概率，而似然性是已知事情发生的前提下估计模型的参数。我们通常都是将似然函数取最大值时的参数作为模型的参数。 那么为何要取似然函数取最大值的参数作为模型的参数？我们基于这样的假设：对于已经发生的事情，在同样条件下再次发生的概率就会 阅读全文

摘要： cbow和skip-gram都是在word2vec中用于将文本进行向量表示的实现方法，具体的算法实现细节可以去看word2vec的原理介绍文章。我们这里大体讲下两者的区别，尤其注意在使用当中的不同特点。 在cbow方法中，是用周围词预测中心词，从而利用中心词的预测结果情况，使用GradientDes 阅读全文

摘要： （一）马尔可夫随机场（Markov random field，无向图模型） （二）条件随机场（Conditional random field，CRF） （一）马尔可夫随机场 概率图模型（Probabilistic graphical model，PGM）是由图表示的概率分布。概率无向图模型（Pro 阅读全文

摘要： 定义： MEMM是这样的一个概率模型，即在给定的观察状态和前一状态的条件下，出现当前状态的概率。 Ø S表示状态的有限集合 Ø O表示观察序列集合 Ø Pr(s|s­­’,o):观察和状态转移概率矩阵 Ø 初始状态分布：Pr0(s) 注：O表示观察集合，S表示状态集合，M表示模型 最大熵马尔科夫模型 阅读全文

摘要： 对抗防御可以从语义消歧这个角度来做，不同的模型，后备模型什么的，我觉得是有道理的，和解决未登录词的方式是类似的，毕竟文本方面的对抗常常是修改为UNK来发生错误的。怎么使用backgroud model这个要实践以下。但是这个主要还是指word-level的，不知道其他的有没有用。 用强大的单词识别能 阅读全文