随笔分类 -  面试题

摘要:Hive中的sql语句是如何转化成MR任务的(面试) 元数据存储在数据库中,默认存在自己自带的derby数据库中(derby在Hive启用的时候会占用元数据库,且数据不会共享给客户端,所以1一次只能有一个客户端使用,开了另一个客户端就会连接不上) 1)、解析器(SQL Parser):将SQL字符串 阅读全文
posted @ 2024-05-11 10:19 peculiar- 阅读(239) 评论(0) 推荐(0)
摘要:hive优化 1、hive的随机抓取策略 hive中的sql都应该经过解析器,编译器,优化器和执行器产生mapreduce作业进行处理,但是在我们使用过程中,对于一些进行查询之类的任务的时候并没有产生mapreduce任务进行处理,这是因为hive的抓取策略帮我们省略了这个步骤,将split切片的过 阅读全文
posted @ 2024-05-11 10:17 peculiar- 阅读(64) 评论(0) 推荐(0)
摘要:HBase是什么: HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,用于存储海量的结构化、非结构化、半结构化的数据(底层存储的只有字节数组类型的数据) HBase写流程 客户端向zookeeper建立连接并发送请求获取meta表的元数据的位置信息,和被哪个regionserver所 阅读全文
posted @ 2024-05-11 10:14 peculiar- 阅读(47) 评论(0) 推荐(0)
摘要:NN角度:小文件一旦很多,那么小文件的权限信息,文件大小信息,归属信息等信息就会跟着增加,每一个小文件都会产生这些信息,这些信息一旦多起来,那么NameNode的元数据就会变大,会导致元数据的大小超过小文件大小的总和,会增加NameNode的压力,有可能导致主节点崩溃,用户就无法通信了 DN角度:小 阅读全文
posted @ 2024-03-28 21:22 peculiar- 阅读(62) 评论(0) 推荐(0)
摘要:集合常见的面试题 1、你在开发种常用的集合有哪些? 如果没有特殊要求,且元素是单列元素的话,使用ArrayList居多,如果是键值对元素的话,默认使用HashMap居多 其他的集合根据查询或者增删的需求,或者线程安全或不安全来选择。 2、HashMap和Hashtable的区别 共同点:都是实现了M 阅读全文
posted @ 2024-03-08 15:30 peculiar- 阅读(60) 评论(0) 推荐(0)
摘要:2:看程序写结果(先判断有没有问题,如果没有,写出结果) package com.shujia.面试题; /* 2:看程序写结果(先判断有没有问题,如果没有,写出结果) */ class A { public void show() { show2(); } public void show2() 阅读全文
posted @ 2024-03-06 15:29 peculiar- 阅读(51) 评论(0) 推荐(0)
摘要:面试题: 1:看程序写结果(先判断有没有问题,如果没有,写出结果) package com.shujia.面试题; class Fu { public void show() { System.out.println("fu show"); } } class Zi extends Fu { pub 阅读全文
posted @ 2024-03-06 15:27 peculiar- 阅读(15) 评论(0) 推荐(0)