随笔分类 -  大数据

Yarn详解
摘要：一、yarn的基本思想 yarn是Hadoop 2.0中的资源管理系统，它的基本思想是将JobTracker 的两个主要功能（资源管理和作业调度/监控）分离，主要方法是创建一个全局的ResourceManager（RM）和若干个针对应用程序的ApplicationMaster（AM）。其中RM负责整 阅读全文
posted @ 2021-09-16 20:38 Arish 阅读(1646) 评论(0) 推荐(0)
Hive常用面试题
摘要：一、Hive内部表与外部表的区别 未被external修饰的是内部表，被external修饰的是外部表； 区别： 内部表数据由hive自身管理，外部表数据由HDFS管理； 内部表数据存储位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse）， 阅读全文
posted @ 2021-09-13 17:10 Arish 阅读(852) 评论(0) 推荐(0)
mapreduce过程
摘要：MapReduce过程： Map端 reduce端： 过程分析： 1.准备好待处理的文本，比如图中准备的文件是200M 2.客户端在进行submit之前，获取待处理的数据的信息，然后根据参数配置形成一个任务分配的规划。比如ss.txt文本有200M，读取的时候进行切分，按照128M进行切分，分成0- 阅读全文
posted @ 2021-09-12 19:11 Arish 阅读(273) 评论(0) 推荐(0)