摘要: 1. 阐述Hadoop生态系统中,HDFS, MapReduce, Yarn, Hbase及Spark的相互关系,为什么要引入Yarn和Spark。 (1).HDFS HDFS(Hadoop分布式文件系统)源自于Google的GFS论文,发表于2003年10月,HDFS是GFS的实现版。HDFS是H 阅读全文
posted @ 2021-03-12 16:01 儒雅随和的t君 阅读(38) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2020-12-12 21:57 儒雅随和的t君 阅读(58) 评论(0) 推荐(0) 编辑
摘要: 1.查看所有表 2向指定表添加列 3.添加列族或删除 4.删除列 5.相终端打印记录表的数据 6.统计行数 7.删除表中的数据 关系型数据库转化为Hbase数据库存储表并插入数据 阅读全文
posted @ 2020-11-22 15:38 儒雅随和的t君 阅读(63) 评论(0) 推荐(0) 编辑
摘要: 1.本地文件系统创建一个文件,输入带姓名学号信息 2.查看新建文件所在目录 3.查看新建文件内容 4.将此文件上传到HDFS文件系统上的用户目录 5.HDFS上查看相应目录 6.HDFS上查看文件内容 7.HDFS上查看文件大小 8.删除本地1步骤创建的文件 9.9.将HDFS上的文件下载到本地 1 阅读全文
posted @ 2020-10-24 20:53 儒雅随和的t君 阅读(67) 评论(0) 推荐(0) 编辑
摘要: 1.用自己的图,描述HDFS体系结构、工作原理与流程。 2.伪分布式安装Hadoop。 安装ssh,设置无密码登录 安装java环境 阅读全文
posted @ 2020-10-20 20:45 儒雅随和的t君 阅读(48) 评论(0) 推荐(0) 编辑
摘要: 1. 熟悉 Linux系统的使用 2. 在Ubuntu下安装MySQL及其常用操作 阅读全文
posted @ 2020-10-10 19:41 儒雅随和的t君 阅读(53) 评论(0) 推荐(0) 编辑
摘要: 1、DKhadoop发行版: 2、Cloudera发行版: 3、€Hortonworks发行版: 1,HDFS(hadoop分布式文件系统) 是hadoop体系中数据存储管理的基础。他是一个高度容错的系统,能检测和应对硬件故障。 client:切分文件,访问HDFS,与那么弄得交互,获取文件位置信息 阅读全文
posted @ 2020-09-19 19:28 儒雅随和的t君 阅读(105) 评论(0) 推荐(0) 编辑
摘要: 1.微信是一个如今非常火热的软件,它一天产生数据非常庞大。2018 微信数据报告,数据截止到2018 年9月,日登陆量达到10亿,到现在每天有7.5亿人进去朋友圈,平均每个人要看十几次,所以每天的总量是100亿次,每天有450 条信息发送出去,每天有4.1 亿音视频呼叫成功。每个月有 10.8 亿用 阅读全文
posted @ 2020-09-12 13:52 儒雅随和的t君 阅读(61) 评论(0) 推荐(0) 编辑