摘要：Hadoop综合大作业 要求： 1. 用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）词频统计。 2. 用Hive对爬虫大作业产生的csv文件进行数据分析 1. 用Hive对爬虫大作业产生的文本文件 这里的具体操作步骤如下： 将网页上的歌词段落爬取下来 通过jieba分词后 阅读全文

摘要：通过hadoop上的hive完成WordCount 启动hadoop Hdfs上创建文件夹 上传文件至hdfs 启动Hive 创建原始文档表 导入文件内容到表docs并查看 用HQL进行词频统计，结果放在表word_count里 查看统计结果 以上的要求实现如下： 以下是运行结果截图： 阅读全文

摘要：用mapreduce 处理气象数据集 编写程序求每日最高最低气温，区间最高最低气温 气象数据集下载地址为：ftp://ftp.ncdc.noaa.gov/pub/data/noaa 按学号后三位下载不同年份月份的数据（例如201506110136号同学，就下载2013年以6开头的数据，看具体数据情况 阅读全文

摘要：1. 以下关系型数据库中的表和数据，要求将其转换为适合于HBase存储的表并插入数据： 学生表（Student） | 学号（S_No） | 姓名（S_Name） | 性别（S_Sex） | 年龄（S_Age） | | | | | | | 2015001 | Zhangsan | male | 23 阅读全文

摘要：在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt，里面可以随意输入一些单词. 在本地查看文件位置（ls） 在本地显示文件内容 使用命令把本地文件系统中的“txt”上传到HDFS中的当前用户目录的input目录下。 查看hdfs中的文件( ls) 显示hdfs中该的文件 阅读全文