摘要：
一、hive用本地文件进行词频统计 1.准备本地txt文件 2.启动hadoop，启动hive 3.创建数据库，创建文本表 4.映射本地文件的数据到文本表中 5.hql语句进行词频统计交将结果保存到结果表中。 6.查看统计结果 二、hive用HDFS上的文件进行词频统计 1.准备电子书或其它大的文本 阅读全文
posted @ 2020-12-05 15:11
超屌
阅读(72)
评论(0)
推荐(0)
摘要：
列出HBase所有的表的相关信息，例如表名； 在终端打印出指定的表的所有记录数据； 向已经创建好的表添加和删除指定的列族或列； 清空指定的表的所有记录数据； 统计表的行数。 2.关系型数据库中的表和数据（教材P92上)，要求将其转换为适合于HBase存储的表并插入数据。 创建学生表 创建课程表 创建 阅读全文
posted @ 2020-11-22 13:36
超屌
阅读(177)
评论(0)
推荐(0)
摘要：
1.词频统计 下载喜欢的电子书或大量文本数据，并保存在本地文本文件中 编写map与reduce函数 本地测试map与reduce 将文本数据上传至HDFS上 用hadoop streaming提交任务 查看运行结果 计算结果取回到本地 2.气象数据分析 批量下载气象数据 解压数据集，并保存在本地文本 阅读全文
posted @ 2020-11-06 16:58
超屌
阅读(99)
评论(0)
推荐(0)
摘要：
1.用自己的图，描述HDFS体系结构、工作原理与流程。 体系结构 读数据 写数据 工作原理 1、客户端通过调用FileSystem对象的open（）来读取希望打开的文件。对于HDFS来说，这个对象是分布式文件系统的一个实例。2、DistributedFileSystem通过RPC来调用namenod 阅读全文
posted @ 2020-10-17 21:12
超屌
阅读(102)
评论(0)
推荐(0)
摘要：
1.了解对比Hadoop不同版本的特性，可以用图表的形式呈现。 Hadoop有以下几种版本： （1）Apache hadoop 的2.0版本，它的模块主要有以下几个： 1）hadoop通用模块，支持其他hadoop模块的通用工具集； 2）Hadoop分布式文件系统，支持对应数据高吞吐量访问的分布式文 阅读全文
posted @ 2020-09-19 19:36
超屌
阅读(173)
评论(0)
推荐(0)
摘要：
1.了解微信、微博、小视频每天产生的数据量与数据类型。 微信 每天有10.1亿用户登陆微信；日发送微信消息450亿条；每天音视频通话次数达4.1亿次 所用数据类型： String：字符串 Number：数字 Object：对象 Array：数组 Bool：布尔值 Date：时间 Geo：多种地理位置 阅读全文
posted @ 2020-09-12 16:23
超屌
阅读(111)
评论(0)
推荐(0)