05 2018 档案

Hadoop综合大作业
摘要：一、用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）词频统计。 1.启动hadoop 2.Hdfs上创建文件夹并查看 上传英文词频统计文本至hdfs 启动hive 导入文件内容到表docs并查看 进行词频统计，结果放在表chao里 查看统计结果 二、用Hive对爬虫大作业产 阅读全文
posted @ 2018-05-25 15:18 kaiwenxiao 阅读(151) 评论(0) 推荐(0)
hive基本操作与应用
摘要：通过hadoop上的hive完成WordCount 启动hadoop Hdfs上创建文件夹 上传文件至hdfs 启动Hive 创建原始文档表 导入文件内容到表docs并查看 用HQL进行词频统计，结果放在表word_count里 查看统计结果 阅读全文
posted @ 2018-05-16 19:01 kaiwenxiao 阅读(171) 评论(0) 推荐(0)
用mapreduce 处理气象数据集
摘要：用mapreduce 处理气象数据集 编写程序求每日最高最低气温，区间最高最低气温 阅读全文
posted @ 2018-05-09 21:59 kaiwenxiao 阅读(465) 评论(1) 推荐(0)
熟悉常用的HBase操作，编写MapReduce作业
摘要：1. 以下关系型数据库中的表和数据，要求将其转换为适合于HBase存储的表并插入数据： 学号（S_No） 姓名（S_Name） 性别（S_Sex） 年龄（S_Age） 课程（course） 2015001 Zhangsan male 23 2015003 Mary female 22 2015003 阅读全文
posted @ 2018-05-08 20:59 kaiwenxiao 阅读(187) 评论(0) 推荐(0)