2015年1月16日
如何使用Pig集成分词器来统计新闻词频？
摘要： 散仙在上篇文章中，介绍过如何使用Pig来进行词频统计，整个流程呢，也是非常简单，只有短短5行代码搞定，这是由于Pig的内置函数TOKENIZE这个UDF封装了单词分割的核心流程，当然，我们的需求是各种各样的，Pig的内置函数，仅仅解决了80%我们常用的功能，如果稍微我有一些特殊的需求，就会发现内置函... 阅读全文
posted @ 2015-01-16 20:43 三劫散仙 阅读(997) 评论(0) 推荐(0)