08 2018 档案

【NLP_Stanford课堂】情感分析
摘要：一、简介 实例： 电影评论、产品评论是positive还是negative 公众、消费者的信心是否在增加 公众对于候选人、社会事件等的倾向 预测股票市场的涨跌 Affective States又分为： emotion：短暂的情感，比如生气、伤心、joyful开心、害怕、羞愧、骄傲等 mood：漫无原 阅读全文
posted @ 2018-08-16 21:00 A_Present 阅读(688) 评论(0) 推荐(0)
【NLP_Stanford课堂】文本分类2
摘要：一、实验评估参数 实验数据本身可以分为是否属于某一个类（即correct和not correct），表示本身是否属于某一类别上，这是客观事实；又可以按照我们系统的输出是否属于某一个类（即selected和not selected），表示是否分到某一类别，这是实验输出。 以垃圾邮件为例： tp：表示系 阅读全文
posted @ 2018-08-14 18:40 A_Present 阅读(439) 评论(0) 推荐(0)
【NLP_Stanford课堂】文本分类1
摘要：文本分类实例：分辨垃圾邮件、文章作者识别、作者性别识别、电影评论情感识别（积极或消极）、文章主题识别及任何可分类的任务。 一、文本分类问题定义： 输入： 一个文本d 一个固定的类别集合C={c1,c2,...,cj}，一共j个类别 输出：一个d的预测类别c∈C 方法： 最简单的是使用基于词或其他特征 阅读全文
posted @ 2018-08-13 17:37 A_Present 阅读(861) 评论(0) 推荐(0)
【NLP_Stanford课堂】拼写校正
摘要：在多种应用比如word中都有拼写检查和校正功能，具体步骤分为： 自动校正：hte -> the 建议一个校正 建议多个校正 拼写错误类型： 检测方法：认为任一不在字典中的词都是一个非词错误，因此字典本身越大越好 校正方法：为错误词产生一个候选，其是跟错误词相似的真词，然后选择加权编辑距离最短或者信道 阅读全文
posted @ 2018-08-12 19:39 A_Present 阅读(1538) 评论(0) 推荐(0)
【NLP_Stanford课堂】语言模型4
摘要：平滑方法： 1. Add-1 smoothing 2. Add-k smoothing 设m=1/V，则有 从而每一项可以跟词汇表的大小相关 3. Unigram prior smoothing 将上式中的1/v换成unigram概率P(wi)，则有： 其是插值的一种变体，其将某种unigram概率 阅读全文
posted @ 2018-08-11 17:02 A_Present 阅读(1242) 评论(0) 推荐(0)
【NLP_Stanford课堂】语言模型3
摘要：一、产生句子 方法：Shannon Visualization Method 过程：根据概率，每次随机选择一个bigram，从而来产生一个句子 比如: 从句子开始标志的bigram开始，我们先有一个(<s>, w)，w是随机一个单词，比较有可能的是I这个单词，那么我们就有(<s>, I) 随机选择下 阅读全文
posted @ 2018-08-07 20:16 A_Present 阅读(1030) 评论(0) 推荐(0)
【NLP_Stanford课堂】语言模型2
摘要：一、如何评价语言模型的好坏 标准：比起语法不通的、不太可能出现的句子，是否为“真实”或"比较可能出现的”句子分配更高的概率 过程：先在训练数据集上训练模型的参数，然后在测试数据集上测试模型的效果。 要求：测试数据集与训练数据集完全不同 评价指标：用以评价模型的测试数据集上的效果 二、N-gram 模 阅读全文
posted @ 2018-08-07 19:23 A_Present 阅读(348) 评论(0) 推荐(0)
【NLP_Stanford课堂】语言模型1
摘要：一、语言模型 旨在：给一个句子或一组词计算一个联合概率 作用： 机器翻译：用以区分翻译结果的好坏 拼写校正：某一个拼错的单词是这个单词的概率更大，所以校正 语音识别：语音识别出来是这个句子的概率更大 总结或问答系统 相关任务：在原句子的基础上，计算一个新词的条件概率，该概率与P(w1w2w3w4w5 阅读全文
posted @ 2018-08-05 11:34 A_Present 阅读(468) 评论(0) 推荐(0)
【NLP_Stanford课堂】最小编辑距离
摘要：一、什么是最小编辑距离 最小编辑距离：是用以衡量两个字符串之间的相似度，是两个字符串之间的最小操作数，即从一个字符转换成另一个字符所需要的操作数，包括插入、删除和置换。 每个操作数的cost： 作用： 二、如何找到最小编辑距离 实质：寻找一条从“开始字符串”到“最终字符串”的路径（一个操作序列） 具 阅读全文
posted @ 2018-08-03 10:24 A_Present 阅读(3065) 评论(1) 推荐(0)