01 2021 档案

阶段一模块四(zookeeper)
摘要：zookeeper作业 基于Zookeeper实现简易版配置中心要求实现以下功能 创建一个Web项目，将数据库连接信息交给Zookeeper配置中心管理，即：当项目Web项目启动时，从Zookeeper进行MySQL配置参数的拉取 要求项目通过数据库连接池访问MySQL（连接池可以自由选择熟悉的） 阅读全文
posted @ 2021-01-23 10:53 凯尔哥 阅读(400) 评论(0) 推荐(0)
阶段一模块四(hbase)
摘要：Hbase作业 在社交网站，社交APP上会存储有大量的用户数据以及用户之间的关系数据，比如A用户的好友列表会展示出他所有的好友，现有一张Hbase表，存储就是当前注册用户的好友关系数据，如下 需求 使用Hbase相关API创建一张结构如上的表 删除好友操作实现（好友关系双向，一方删除好友，另一方也会 阅读全文
posted @ 2021-01-23 10:38 凯尔哥 阅读(254) 评论(0) 推荐(0)
hbase数据读写流程
摘要：hbase写数据流程 ⾸先从 zk找到meta表的region位置，然后读取meta表中的数据，meta表中存储了用户表的region信息 根据namespace、表名和rowkey信息。找到写入数据对应的 region信息 找到这个region对应的regionServer，然后发送请求 把数据分 阅读全文
posted @ 2021-01-17 09:01 凯尔哥 阅读(460) 评论(0) 推荐(0)
详解hbase的寻址过程(0.96版本以后，2.0版本以前)
摘要：客户端发送查询命令 scan 'user', {COLUMNS => 'base_info', STARTROW => 'rk1', ENDROW => 'rk3'} 寻址过程 1. 客户端请求zk，获取meta表所在位置 2. zk返回节点位置(假设在hadoop01节点) 3. 客户端访问had 阅读全文
posted @ 2021-01-17 08:15 凯尔哥 阅读(478) 评论(0) 推荐(0)
有关hbase的面试题
摘要：背景 有一个超级大的文件，里面存放的全都是url，样本数据(url.txt)如下： www.baidu.com www.jd.com www.taobao.com ...... 需求 现在需要实时地判断出某个url是否包含在这个文件中,如何实现？ 思路分析 1. 要实现查询速度快，肯定是要将所有的u 阅读全文
posted @ 2021-01-16 15:44 凯尔哥 阅读(167) 评论(0) 推荐(0)
sqoop知识总结
摘要：sqoop核心知识点 阅读全文
posted @ 2021-01-16 14:18 凯尔哥 阅读(570) 评论(0) 推荐(0)
flume知识总结
摘要：flume核心知识点 阅读全文
posted @ 2021-01-16 14:14 凯尔哥 阅读(360) 评论(0) 推荐(0)
zookeeper知识总结
摘要：zookeeper核心知识点 阅读全文
posted @ 2021-01-16 14:04 凯尔哥 阅读(411) 评论(0) 推荐(0)
hive优化
摘要：hive优化 阅读全文
posted @ 2021-01-14 13:53 凯尔哥 阅读(344) 评论(0) 推荐(0)
画图详解yarn的资源调度流程
摘要：作业提交 Client调用job.waitForCompletion⽅法，向整个集群提交MapReduce作业。 Client向RM申请一个作业id。 RM给Client返回该job资源的提交路径和作业id。 Client提交jar包、切⽚信息和配置文件到指定的资源提交路径。 Client提交完资源 阅读全文
posted @ 2021-01-02 12:17 凯尔哥 阅读(787) 评论(0) 推荐(0)
画图详解MapReduce的shuffle过程
摘要：![](https://img2020.cnblogs.com/blog/2134332/202101/2134332-20210101144532827-2055635318.png) 阅读全文
posted @ 2021-01-01 14:46 凯尔哥 阅读(108) 评论(0) 推荐(0)

点击右上角即可分享
微信分享提示