05 2018 档案
摘要:要求: 1.用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)进行词频统计。 网上下载经典长篇英文小说The Great Gatsby,保存到wc文件中,命名为xhp.txt。 启动hadoop集群 将wc文件夹的xhp.txt上传文件至hdfs的data文件夹 启动hive
阅读全文
摘要:1.启动hadoop start-all.sh 2.Hdfs上创建文件夹 hdfs dfs -mkdir testinput hdfs dfs -ls /user/hadoop 3.上传文件至hdfs hdfs dfs -put ./test.txt testinput hdfs dfs -ls /
阅读全文
摘要:1.编写map函数,reduce函数 (1)创建mapper.py文件 cd /home/hadoop/wc gedit mapper.p (2)mapper函数 cd /home/hadoop/wc gedit reducer.py 放到HDFS上运行 下载并上传文件到hdfs上
阅读全文
摘要:1. 以下关系型数据库中的表和数据,要求将其转换为适合于HBase存储的表并插入数据: 学生表(Student)(不包括最后一列) 学号(S_No) 姓名(S_Name) 性别(S_Sex) 年龄(S_Age) 课程(course) 2015001 Zhangsan male 23 2015003
阅读全文