shirley_cst

博观而约取,厚积而薄发;淡泊以明志,宁静以致远。
  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

随笔分类 -  NLP

Natural Language Processing
摘要:需要做的工作:1. 构建停用词词表并进行过滤2. 构建词袋模型(建倒排表)(1) 建立后需要保存到硬盘,使用时再从硬盘载入.原因:词袋模型的建立需要占用大量的内存,运行时间也较长,不适合多次运行.建立倒排表 --> 将倒排表写入倒排索引文件 --> 从倒排索引文件加载倒排表(2) 需要制订合适的保存结构,一种比较好的方式为:词i的text,词i的TF,(文档j的编号,词i在文档j中的DF)3. 建立VSM(向量空间模型)(1) maxTF, DF; (2) 归一化 阅读全文

posted @ 2012-10-09 14:32 shirley_cst 阅读(170) 评论(0) 推荐(0)