09 2016 档案

自然语言处理2.3——词典资源
摘要:词典或者词典资源是一个词和/或者短语及其相关信息的集合,例如:词性和词意定义等相关信息。词典资源隶属于文本,并且通过在文本的基础上创建和丰富。例如定义了一个文本my_text,然后通过vocab=sorted(set(my_text))建立my_text的词汇表,再利用word_Freq=FreqD 阅读全文

posted @ 2016-09-27 21:54 波比12 阅读(2623) 评论(0) 推荐(0)

自然语言处理2.2——条件频率分布
摘要:前面我们学习过使用FreqDist(textlist)函数来计算textlist链表中每个项目出现的次数,现在我们推广这一想法。 当语料文本分为几类(文体、主题、作者)时,可以计算每个类别独立的频率分布,这样就可以研究类别之间的系统性差异。——nltk.ConditionalFreqDist来实现、 阅读全文

posted @ 2016-09-27 12:48 波比12 阅读(1933) 评论(0) 推荐(0)

自然语言处理——NLTK中文语料库语料库
摘要:Python NLTK库中包含着大量的语料库,但是大部分都是英文,不过有一个Sinica(中央研究院)提供的繁体中文语料库,值得我们注意。 在使用这个语料库之前,我们首先要检查一下是否已经安装了这个语料库。 检查箭头所指的sinica_treebank是否安装,如果未安装,则首先要进行安装。 安装完 阅读全文

posted @ 2016-09-23 15:27 波比12 阅读(11075) 评论(0) 推荐(1)

自然语言处理2.1——NLTK文本语料库
摘要:1.获取文本语料库 NLTK库中包含了大量的语料库,下面一一介绍几个: (1)古腾堡语料库:NLTK包含古腾堡项目电子文本档案的一小部分文本。该项目目前大约有36000本免费的电子图书。 使用:from nltk.corpus import gutenberg 写一段简短的程序,通过遍历前面所列出的 阅读全文

posted @ 2016-09-23 12:57 波比12 阅读(7928) 评论(0) 推荐(0)

【转载】使用LFM(Latent factor model)隐语义模型进行Top-N推荐
摘要:最近在拜读项亮博士的《推荐系统实践》,系统的学习一下推荐系统的相关知识。今天学习了其中的隐语义模型在Top-N推荐中的应用,在此做一个总结。 隐语义模型LFM和LSI,LDA,Topic Model其实都属于隐含语义分析技术,是一类概念,他们在本质上是相通的,都是找出潜在的主题或分类。这些技术一开始 阅读全文

posted @ 2016-09-08 10:01 波比12 阅读(745) 评论(0) 推荐(0)

Sklearn库例子4:分类——Lasso分类例子
摘要:Lasso回归: 输出: 阅读全文

posted @ 2016-09-06 14:11 波比12 阅读(8317) 评论(1) 推荐(0)

Sklearn库例子3:分类——岭回归分类(Ridge Regression )例子
摘要:为了解决数据的特征比样本点还多的情况,统计学家引入了岭回归。 岭回归通过施加一个惩罚系数的大小解决了一些普通最小二乘的问题。回归系数最大限度地减少了一个惩罚的误差平方和。 这里是一个复杂的参数,用来控制收缩量,其值越大,就有更大的收缩量,从而成为更强大的线性系数。 Ridge和Line_Model一 阅读全文

posted @ 2016-09-05 13:54 波比12 阅读(7936) 评论(0) 推荐(0)

Sklearn库例子2:分类——线性回归分类(Line Regression )例子
摘要:线性回归:通过拟合线性模型的回归系数W =(w_1,…,w_p)来减少数据中观察到的结果和实际结果之间的残差平方和,并通过线性逼近进行预测。 从数学上讲,它解决了下面这个形式的问题: LinearRegression()模型在Sklearn.linear_model下,他主要是通过fit(x,y)的 阅读全文

posted @ 2016-09-02 14:22 波比12 阅读(11157) 评论(0) 推荐(0)

Sklearn库例子1:Sklearn库中AdaBoost和Decision Tree运行结果的比较
摘要:DisCrete Versus Real AdaBoost 关于Discrete 和Real AdaBoost 可以参考博客:http://www.cnblogs.com/jcchen1987/p/4581651.html 本例是Sklearn网站上的关于决策树桩、决策树、和分别使用AdaBoost 阅读全文

posted @ 2016-09-01 15:10 波比12 阅读(7294) 评论(1) 推荐(0)

导航