摘要： 一、词频统计 A. 分步骤实现 准备文件 下载小说或长篇新闻稿 上传到hdfs上 hdfs dfs -put /home/hadoop/5case.txt ./5case 读文件创建RDD lines = sc.textFile("/user/hadoop/5case/5case.txt") 分词 阅读全文

摘要： 一、 RDD创建 1.从本地文件系统中加载数据创建RDD 从HDFS加载数据创建RDD 启动hdfs 上传文件 查看文件 加载 停止hdfs 通过并行集合（列表）创建RDD 输入列表 字符串 numpy生成数组 二、 RDD操作 转换操作 filter(func) lambda函数 显式定义函数 m 阅读全文