2020年11月22日
摘要: 1.任务: 列出HBase所有的表的相关信息,例如表名 在终端打印出指定的表的所有记录数据; 向已经创建好的表添加和删除指定的列族或列 清空指定的表的所有记录数据 统计表的行数 2.关系型数据库中的表和数据(教材P92上),要求将其转换为适合于HBase存储的表并插入数据。 student表 课程表 阅读全文
posted @ 2020-11-22 19:17 zhangxiaofeng 阅读(88) 评论(0) 推荐(0) 编辑
  2020年11月13日
摘要: 1.词频统计 下载喜欢的电子书或大量文本数据,并保存在本地文本文件中 编写map与reduce函数 本地测试map与reduce 将文本数据上传至HDFS上 用hadoop streaming提交任务 查看运行结果 计算结果取回到本 2.气象数据分析 如:求每日最高温度 批量下载气象数据 解压数据集 阅读全文
posted @ 2020-11-13 20:25 zhangxiaofeng 阅读(345) 评论(0) 推荐(0) 编辑
  2020年10月24日
摘要: 本地文件系统创建一个文件,输入带姓名学号信息。 查看新建文件所在目录 查看新建文件内容 将此文件上传到HDFS文件系统上的用户目录 HDFS上查看相应目录 HDFS上查看文件内容 HDFS上查看文件大小 删除本地1步骤创建的文件 将HDFS上的文件下载到本地 查看本地文件目录‘ 阅读全文
posted @ 2020-10-24 18:12 zhangxiaofeng 阅读(66) 评论(0) 推荐(0) 编辑
  2020年10月20日
摘要: 1.用自己的图,描述HDFS体系结构、工作原理与流程。 HDFS体系结构 写数据 读数据 2.伪分布式安装Hadoop。 阅读全文
posted @ 2020-10-20 16:43 zhangxiaofeng 阅读(53) 评论(0) 推荐(0) 编辑
  2020年10月10日
摘要: 结果如下 阅读全文
posted @ 2020-10-10 21:20 zhangxiaofeng 阅读(48) 评论(0) 推荐(0) 编辑
  2020年9月18日
摘要: 1.了解对比Hadoop不同版本的特性,可以用图表的形式呈现 目前,hadoop社区有几个不同的分支版本,各个版本之前又相互联系。以下是几个主要版本的一些介绍。 0.20.2是一个stable的版本,他又几个子版本,0.20.203 具有security特性,但是不具有append和raid功能。 阅读全文
posted @ 2020-09-18 11:15 zhangxiaofeng 阅读(92) 评论(0) 推荐(0) 编辑
  2020年9月11日
摘要: 1、了解微信、微博、小视频每天产生的数据量与数据类型 每天有10.1亿用户登陆微信;日发送微信消息450亿条,每天音视频通话次数达4.1亿次微博月活跃用户达到5.16亿 短视频用户规模达6.48亿 2、选择一个你感兴趣的领域应用数据思维进行分析决策的案例。 在休闲娱乐方面的案例,大数据可以帮到对电影 阅读全文
posted @ 2020-09-11 21:23 zhangxiaofeng 阅读(75) 评论(0) 推荐(0) 编辑