摘要:一、YARN产生的背景 MapReduce1.x存在的问题:单点故障&节点压力大不易扩展。 资源利用率&成本 催生了YARN的诞生 不同计算框架可以共享同一个HDFS集群上的数据,享受整体的资源调度。 XXX on YARN的好处:与其他计算框架共享集群资源,按资源需要分配,进而提高集群资源的利用率 阅读全文
posted @ 2018-04-28 15:40 老王和小杨 阅读(926) 评论(0) 推荐(0) 编辑
摘要:一、序列化 1 hadoop自定义了数据类型,在hadoop中,所有的key/value类型必须实现Writable接口。有两个方法,一个是write,一个是readFileds。分别用于读(反序列化操作)和写(序列化操作)。 2 所有的key必须实现Comparable接口,在MapReduce过 阅读全文
posted @ 2018-04-28 11:00 老王和小杨 阅读(639) 评论(0) 推荐(0) 编辑