摘要：sklearn: 利用TruncatedSVD做文本主题分析 利用一个demo学习使用TruncatedSVD做文本主题分析。 通过主题分析，我们可以得到一个语料中的关键主题，即各个词语在主题中的重要程度，各个文章在各个主题上的倾向程度。并且可以根据它们，得到主题对应的关键词以及代表性文本。 1、使 阅读全文

摘要：sklearn: TfidfVectorizer 中文处理及一些使用参数 常规使用 TfidfVectorizer可以把原始文本转化为tf-idf的特征矩阵，从而为后续的文本相似度计算，主题模型(如LSI)，文本搜索排序等一系列应用奠定基础。基本应用如： from sklearn.feature_e 阅读全文

摘要：gensim包使用 1 gensim介绍 gensim是一款强大的自然语言处理工具，里面包括N多常见模型： 基本的语料处理工具 LSI LDA HDP DTM DIM TF-IDF word2vec、paragraph2vec 2 Word2Vector使用 训练思路： 将语料库预处理：一行一个文档 阅读全文

摘要：分类模型的F1分值、Precision和Recall 计算过程 引入 通常，我们在评价classifier的性能时使用的是accuracy 考虑在多类分类的背景下 accuracy = (分类正确的样本个数) / (分类的所有样本个数) 这样做其实看上去也挺不错的，不过可能会出现一个很严重的问题：例 阅读全文