05 2018 档案

摘要:1.用Hive对爬虫大作业产生的文本文件(三星S9手机论坛)进行词频统计。 (1)start-dfs.sh命令,启动所有服务 (2)创建samsung表,,进行数据 (3)创建查表 (4)查看统计结果 2.用Hive对csv文件进行数据分析,写一篇博客描述你的分析过程和分析结果。 将csv格式的数据 阅读全文
posted @ 2018-05-25 19:28 088陈志鸿 阅读(140) 评论(0) 推荐(0)
摘要:A.编写map函数,reduce函数 B.将其权限作出相应修改 C.本机上测试运行代码 D.放到HDFS上运行 a.将之前爬取的文本文件上传到hdfs上 b.用Hadoop Streaming命令提交任务 E.查看运行结果 A.气象数据集下载地址为:ftp://ftp.ncdc.noaa.gov/p 阅读全文
posted @ 2018-05-10 22:01 088陈志鸿 阅读(144) 评论(0) 推荐(0)
摘要:1. 以下关系型数据库中的表和数据,要求将其转换为适合于HBase存储的表并插入数据: 学生表(Student)(不包括最后一列) 学号(S_No) 姓名(S_Name) 性别(S_Sex) 年龄(S_Age) 课程(course) 2015001 Zhangsan male 23 2015003 阅读全文
posted @ 2018-05-04 18:50 088陈志鸿 阅读(117) 评论(0) 推荐(0)