摘要：
一、hive用本地文件进行词频统计 1.准备本地txt文件 2.启动hadoop，启动hive 3.创建数据库，创建文本表 4.映射本地文件的数据到文本表中 5.hql语句进行词频统计交将结果保存到结果表中。 6.查看统计结果 二、hive用HDFS上的文件进行词频统计1.准备电子书或其它大的文本文 阅读全文
摘要：
1.任务： 列出HBase所有的表的相关信息，例如表名； 在终端打印出指定的表的所有记录数据； 向已经创建好的表添加和删除指定的列族或列； 清空指定的表的所有记录数据； 统计表的行数。 2.关系型数据库中的表和数据（教材P92上)，要求将其转换为适合于HBase存储的表并插入数据。 3. 编程完成以 阅读全文
摘要：
1.下载喜欢的电子书或大量文本数据，并保存在本地文件夹中 2.编写map与reduce函数 3.本地测试map与reduce 4.将文本数据上传至HDFS上 5.用hadoop streaming提交任务 6.查看运行结果 7.计算结果取回到本地 阅读全文
摘要：
一、用自己的图，描述HDFS体系结构、工作原理与流程。 HDFS工作原理： 文件太大，一个机器的空间不足，可以将文件分割为小块儿然后保存到多台机器上；另外，还可以在不同机器上对文件进行备份，避免因为机器损坏文件丢失。 传统的分布式存储模式也可以做到以上两点，但是存储一些问题：负载难以均衡。 HDFS 阅读全文
摘要：
了解对比Hadoop不同版本的特性 1.0 安全 HBase（append / hsynch / hflush和安全性） webhdfs（全面支持安全性） 性能增强了对HBase对本地文件的访问 其他性能增强，错误修复和功能 1.1 从主干向后移植HDFS的许多性能改进 使用SPNEGO而不是Ker 阅读全文
摘要：
1. 了解微信、微博、小视频每天产生的数据量与数据类型 《2018微信年度数据报告》显示，2018年，每天有10.1亿用户登陆微信；日发送微信消息450亿条，较2017年增长18%；每天音视频通话次数达4.1亿次，较去年增长100%。 微信的数据类型：你的社交 你的活动轨迹 还有人际关系 2. 阿迪 阅读全文