摘要：
MR的wordcount的练习就相当于java的helloworld一样 学习前提： JAVA基础：数据类型、方法、面向对象、反射等等（看懂语法） maven（处理依赖、打包） Hadoop-HDFS的存储原理（看懂集群架构、block等） Hadoop-MapReduce的执行原理（看懂流程） L 阅读全文
posted @ 2021-08-04 16:03
没离开过o
阅读(398)
评论(0)
推荐(0)
摘要：
Java 内存分区结构： 堆：存放new的对象和数组，可以被所有的线程共享，不会存放别的对象引用 栈：存放基本类型（包含具体数值的）、引用对象的变量（该引用对象在堆的具体地址） 方法区：存放class对象，static变量，可以被所有的线程共享 类的加载过程： 加载 - 链接 - 初始化 加载： c 阅读全文
posted @ 2021-08-02 22:43
没离开过o
阅读(70)
评论(0)
推荐(0)
摘要：
HDFS写入过程中各组件发生了什么事？ HDFS有什么组件： Client NameNode(NN) DataNode(DN) 名词解释： block: HDFS的存储单元，默认128M pipeline：Client和DataNode之间用来传输数据建立的管道 packet：属于pipeline管 阅读全文
posted @ 2021-08-02 22:42
没离开过o
阅读(239)
评论(0)
推荐(0)
摘要：
##HDFS元数据是怎么管理的？ 总所周知，HDFS的元数据都是保存在NameNode的内存里，放内存的好处很多，读写快，响应快，但是也会有要两个问题： 如果服务器重启后内存就会被清空，数据会丢失，数据怎么持久化？ 单点NameNode的内存是有极限的，怎么扩展？ (HDFS集群的性能瓶颈取决Nam 阅读全文
posted @ 2021-08-02 22:41
没离开过o
阅读(489)
评论(0)
推荐(0)
摘要：
1.什么是拉链表？ 拉链表是属于用来应对缓慢变化维度的解决方案之一 2.拉链表的关键字段： (1) t_start_date 该记录的生效日期（生命周期开始） (2) t_end_date 该记录的失效日期（生命周期结束）默认 9999-12-31 3.拉链表的实现： #Hive场景 1 需要准备一 阅读全文
posted @ 2021-08-02 18:56
没离开过o
阅读(275)
评论(0)
推荐(0)
摘要：
1.什么是反射（Reflction）？ JVM加载完类以后，就会产生一个Class类型的对象，一个类只有一个Class对象，通过Class对象可以看到类的所有结构内容，包括成员变量、方法名、方法，就像看到一面镜子反射出来一样，所以叫作反射。反射是java作为一个准动态语言的关键 一句话总结：反射就是 阅读全文
posted @ 2021-07-27 00:12
没离开过o
阅读(40)
评论(0)
推荐(0)
摘要：
1.什么是注解？ 注解是给到编写代码的人看的解释说明（跟注释一样） ，同时能够给程序解析的。 一句话总结：注释 + 可以被解析。 2.注解的创建： 关键字：@interface 3.元注解： 元注解是专门给注解的注解，创建自定义注解时必须要声明的，专门给注解做说明，指定作用范围，存活阶段，能否被子类 阅读全文
posted @ 2021-07-27 00:12
没离开过o
阅读(97)
评论(0)
推荐(0)
摘要：
如何获取类的结构信息： //1 获取class对象 Class c = Class.forName("com.oop.demo07.Student"); //2 获取成员属性 Field[] fields = c.getFields(); //获取全部非私有成员属性，返回Field数组 Field[ 阅读全文
posted @ 2021-07-27 00:12
没离开过o
阅读(28)
评论(0)
推荐(0)
浙公网安备 33010602011771号