随笔分类 -  信息论

SEO搜索引擎优化、信息论基本算法etc.
摘要:在文本分类的学习过程中,在“如何衡量一个关键字在文章中的重要性”的问题上,遇到了困难。在网上找了很多资料,大多数都提到了这个算法,就是今天要讲的TF-IDF。 总起 TF-IDF,理解起来相当简单,他实际上就是TF*IDF,两个计算值的乘积,用来衡量一个词库中的词对每一篇文档的重要程度。下面我们分开 阅读全文
posted @ 2016-11-05 16:14 Holy炭 阅读(9503) 评论(0) 推荐(0)
摘要:最近导师让做一个文本分类的东西,偶然间看到卡方检验,不懂(感觉自己实在是水到家,博客里讲的基础的东西,到我这里就是漫天找资料学),于是找了些博客文章,总结了下,有所体会。 引子 首先讲一下什么是卡方检验。卡方检验按照定义来说就是:检验实际的数据分布情况与理论的分布情况是否相同.这样讲比较抽象,这里讲 阅读全文
posted @ 2016-11-03 22:42 Holy炭 阅读(1751) 评论(0) 推荐(0)