摘要:需要做的工作:1. 构建停用词词表并进行过滤2. 构建词袋模型(建倒排表)(1) 建立后需要保存到硬盘,使用时再从硬盘载入.原因:词袋模型的建立需要占用大量的内存,运行时间也较长,不适合多次运行.建立倒排表 --> 将倒排表写入倒排索引文件 --> 从倒排索引文件加载倒排表(2) 需要制订合适的保存结构,一种比较好的方式为:词i的text,词i的TF,(文档j的编号,词i在文档j中的DF)3. 建立VSM(向量空间模型)(1) maxTF, DF; (2) 归一化
阅读全文
posted @ 2012-10-09 14:32
浙公网安备 33010602011771号