05 2018 档案

摘要:要求: 1.用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)进行词频统计。 网上下载经典长篇英文小说The Great Gatsby,保存到wc文件中,命名为xhp.txt。 启动hadoop集群 将wc文件夹的xhp.txt上传文件至hdfs的data文件夹 启动hive 阅读全文
posted @ 2018-05-24 15:36 商软3许怀鹏222 阅读(179) 评论(0) 推荐(0)
摘要:1.启动hadoop start-all.sh 2.Hdfs上创建文件夹 hdfs dfs -mkdir testinput hdfs dfs -ls /user/hadoop 3.上传文件至hdfs hdfs dfs -put ./test.txt testinput hdfs dfs -ls / 阅读全文
posted @ 2018-05-17 08:29 商软3许怀鹏222 阅读(92) 评论(0) 推荐(0)
摘要:1.编写map函数,reduce函数 (1)创建mapper.py文件 cd /home/hadoop/wc gedit mapper.p (2)mapper函数 cd /home/hadoop/wc gedit reducer.py 放到HDFS上运行 下载并上传文件到hdfs上 阅读全文
posted @ 2018-05-11 10:21 商软3许怀鹏222 阅读(149) 评论(0) 推荐(0)
摘要:1. 以下关系型数据库中的表和数据,要求将其转换为适合于HBase存储的表并插入数据: 学生表(Student)(不包括最后一列) 学号(S_No) 姓名(S_Name) 性别(S_Sex) 年龄(S_Age) 课程(course) 2015001 Zhangsan male 23 2015003 阅读全文
posted @ 2018-05-09 22:05 商软3许怀鹏222 阅读(135) 评论(0) 推荐(0)