2024年5月11日
HBase读写流程以及为什么面对百亿数据依旧可以很快
摘要： HBase是什么： HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，用于存储海量的结构化、非结构化、半结构化的数据（底层存储的只有字节数组类型的数据） HBase写流程 客户端向zookeeper建立连接并发送请求获取meta表的元数据的位置信息，和被哪个regionserver所 阅读全文
posted @ 2024-05-11 10:14 peculiar- 阅读(47) 评论(0) 推荐(0)
HBase架构
摘要： HBase架构 HBase概述：HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，用于存储海量的结构化或者半结构化，非结构化的数据（底层存储的类型只有一种，是字节数组） 1、HBase是可以提供实时计算的分布式数据库，数据保存在HDFS分布式文件系统上，由HDFS保证其高容错性 2、 阅读全文
posted @ 2024-05-11 10:13 peculiar- 阅读(649) 评论(0) 推荐(0)
HBase基础命令
摘要： HBase基础命令 五、hbase shell 命名 描述 语法 help ‘命名名’ 查看命令的使用描述 help ‘命令名’ whoami 我是谁 whoami version 返回hbase版本信息 version status 返回hbase集群的状态信息 status table_help 阅读全文
posted @ 2024-05-11 10:13 peculiar- 阅读(439) 评论(0) 推荐(0)
Hadoop高可用
摘要： Hadoop高可用架构 高可用架构有两个NameNode节点，一个是ActiveNameNode（ANN），一个是StandbyNameNode（SNN），高可用框架中只有一个活跃的NameNode节点，但是备用SNN会持续关注整个集群，并每隔一段时间向JournalNode集群同步日志，SNN也会 阅读全文
posted @ 2024-05-11 10:12 peculiar- 阅读(37) 评论(0) 推荐(0)
Hadoop基础相关
摘要： Hadoop分而治之思想 概述：Hadoop是一个适合海量数据的分布式存储和分布式计算的平台 Hadoop三大组件（非高可用集群）： 1、HDFS：NameNode，SecondaryNameNode，DataNode 2、YARN：ResouManager，NodeManager 3、MapRed 阅读全文
posted @ 2024-05-11 10:09 peculiar- 阅读(11) 评论(0) 推荐(0)
2024年3月28日
面试题：为什么hadoop不适合存储小文件（1、从NN角度去 分析 2、DN角度分析 3、从MR角度分析）
摘要： NN角度：小文件一旦很多，那么小文件的权限信息，文件大小信息，归属信息等信息就会跟着增加，每一个小文件都会产生这些信息，这些信息一旦多起来，那么NameNode的元数据就会变大，会导致元数据的大小超过小文件大小的总和，会增加NameNode的压力，有可能导致主节点崩溃，用户就无法通信了 DN角度：小 阅读全文
posted @ 2024-03-28 21:22 peculiar- 阅读(62) 评论(0) 推荐(0)
2024年3月10日
递归
摘要： 递归 方法的递归：方法定义中调用方法本身的现象 package com.shujia.day14; /* new StringBuffer().append().append() 这个叫方法的链式调用 show(fun1()) 方法的嵌套调用 递归必备前提： 1、进入递归的入口 2、方法要有返回值 阅读全文
posted @ 2024-03-10 18:22 peculiar- 阅读(24) 评论(0) 推荐(0)
2024年3月8日
TreeMap练习
摘要： TreeMap练习 1."aababcabcdabcde",获取字符串中每一个字母出现的次数要求结果:a(5)b(4)c(3)d(2)e(1) package com.shujia.day14; import java.util.Map; import java.util.Set; import j 阅读全文
posted @ 2024-03-08 21:59 peculiar- 阅读(25) 评论(0) 推荐(0)
TreeMap
摘要： TreeMap TreeMap底层是红黑树 根据创建时调用的构造方法不同，map中的键排序的规则不同 创建TreeMap是无参构造方法的话，将来map中的键是以自然排序 创建TreeMap是有参构造方法，传入Comparator接口的实现类对象（匿名内部类的方式） package com.shuji 阅读全文
posted @ 2024-03-08 21:24 peculiar- 阅读(43) 评论(0) 推荐(0)
HashMap
摘要： HashMap Map集合继承体系: 1、Map集合中的元素是一个键值对 2、一个键对应一个值，键不允许重复，键是唯一的 3、值可以发生重复 子类：HashMap<K,V> 成员方法1： V remove(Object key) void clear() boolean containsKey(Ob 阅读全文
posted @ 2024-03-08 20:52 peculiar- 阅读(37) 评论(0) 推荐(0)