摘要: 一、词频统计 分步骤实现 准备文件 下载小说或长篇新闻稿 上传到hdfs上 读文件创建RDD 分词 排除大小写,标点符号,停用词,长度小于2的词 统计词频 排序 输出到文件 查看结果 一句话实现 点击查看代码 ''' 词频统计 准备文件包括词频统计文件和停用词文件 存放于实验机或hdfs上 进入py 阅读全文
posted @ 2022-03-30 18:23 叶文茂 阅读(93) 评论(1) 推荐(0) 编辑
TOP