摘要: 一、hive用本地文件进行词频统计 1.准备本地txt文件 2.启动hadoop,启动hive 3.创建数据库,创建文本表 4.映射本地文件的数据到文本表中 5.hql语句进行词频统计交将结果保存到结果表中。 6.查看统计结果 二、hive用HDFS上的文件进行词频统计 1.准备电子书或其它大的文本 阅读全文
posted @ 2020-12-04 11:02 小王子C 阅读(91) 评论(0) 推荐(0) 编辑
摘要: 使用HBase Shell命令 或 使用HBase Java API完成: 1.任务: 列出HBase所有的表的相关信息,例如表名; 在终端打印出指定的表的所有记录数据; 向已经创建好的表添加和删除指定的列族或列; 清空指定的表的所有记录数据; 统计表的行数。 2.关系型数据库中的表和数据(教材P9 阅读全文
posted @ 2020-11-21 23:19 小王子C 阅读(87) 评论(0) 推荐(0) 编辑
摘要: 1.词频统计 1.1下载喜欢的电子书或大量文本数据,并保存在本地文本文件中 1.2编写map与reduce函数 1.3本地测试map与reduce 1.4将文本数据上传至HDFS上 1.5用hadoop streaming提交任务 1.6查看运行结果 1.7计算结果取回到本地 加分 2.气象数据分析 阅读全文
posted @ 2020-11-10 13:32 小王子C 阅读(453) 评论(0) 推荐(0) 编辑
摘要: 1.本地文件系统创建一个文件,输入带姓名学号信息。 2.查看新建文件所在目录 3.查看新建文件内容 4.将此文件上传到HDFS文件系统上的用户目录 5.HDFS上查看相应目录 6.HDFS上查看文件内容 7.HDFS上查看文件大小 8.删除本地1步骤创建的文件 9.将HDFS上的文件下载到本地\ 1 阅读全文
posted @ 2020-10-23 22:07 小王子C 阅读(244) 评论(0) 推荐(0) 编辑
摘要: 1.用自己的图,描述HDFS体系结构、工作原理与流程。 2.伪分布式安装Hadoop。 阅读全文
posted @ 2020-10-19 18:09 小王子C 阅读(84) 评论(0) 推荐(0) 编辑
摘要: 1. 熟悉 Linux系统的使用 (1)上面完成了Linux系统的安装以后,如果读者是初次使用Linux系统,请熟悉一下Linux常用命令,参考链接:Linux系统的常用命令 2. 在Ubuntu下安装MySQL及其常用操作 **创建姓名缩写数据库,创建学生数据表,输入自己的学号姓名信息 阅读全文
posted @ 2020-10-10 20:45 小王子C 阅读(129) 评论(0) 推荐(0) 编辑
摘要: 1.了解对比Hadoop不同版本的特性,可以用图表的形式呈现。 Apache Hadoop版本分为两代,第一代Hadoop称为Hadoop1.0,第二代Hadoop称为Hadoop2.0。第一代Hadoop包含0.20.x、0.21.x、0.22.x三大版本,其中,0.20.x最后演化成1.0.x, 阅读全文
posted @ 2020-09-18 11:15 小王子C 阅读(185) 评论(0) 推荐(0) 编辑
摘要: 1.了解微信、微博、小视频每天产生的数据量与数据类型。 微信数据显示,每个月有10.825亿位用户保持活跃,每个月有6300万位55岁以上的用户保持活跃。此外,每天有450亿次信息发送出,有4.1亿次音视频呼叫成功。其中,视频通话用户比三年前多了570%,随时随地“微信见面”,成为一种日常。类型是S 阅读全文
posted @ 2020-09-11 11:28 小王子C 阅读(202) 评论(0) 推荐(0) 编辑