随笔列表第2页 - 笨小康u

2020年8月21日

摘要：一、Yarn 架构 1.1 基本概念 Yarn 采用传统的 master-slave 架构模式，其主要由 4 种组件组成，它们的主要功能如下： ResourceManager（RM）：全局资源管理器，负责整个系统的资源管理和分配；处理客户端请求启动/监控ApplicationMaster 监控N 阅读全文

posted @ 2020-08-21 16:43 笨小康u 阅读(1174) 评论(0) 推荐(0) 编辑

Presto 运行机制简介

摘要：一、Presto 执行过程 Presto 执行流程图 Presto 查询引擎是一个 Master-Slave 架构，主要包括： Client：提交数据操作的窗口 Coordinator：负责解析 SQL 语句，生成执行计划，分发执行任务给 Worker 节点执行。 Discovery Server：阅读全文

posted @ 2020-08-21 15:28 笨小康u 阅读(1058) 评论(0) 推荐(0) 编辑

Spark on Yarn运行机制

摘要：一、Spark 相关术语 Driver（通常用 SparkContext 代表 Drive）：表示运行 Application的main() 函数，并创建 SparkContext。其中创建 SparkContext 的目的是为了准备 Spark 应用程序的运行环境。在 Spark 中由 Spark 阅读全文

posted @ 2020-08-21 11:43 笨小康u 阅读(741) 评论(0) 推荐(0) 编辑

2020年8月7日

10k规模集群INT类型超限导致RM hang住分析

摘要：我们在测试环境部署了一套 sls 模拟环境，当集群规模达到 10k 台 NM 节点时，会出现两个异常现象： Yarn UI 页面显示的 NM 数量达不到 10k 规模；客户端提交的 APP 一直处于 Accept 状态，无法分配资源。先直接说结论，具体原因在后面分析。这个问题的解决，其实归结到一阅读全文

posted @ 2020-08-07 15:43 笨小康u 阅读(416) 评论(0) 推荐(0) 编辑

2020年8月4日

Spark 内存管理模型详解

摘要：一、Spark 内存介绍在执行 Spark 的应用程序时，Spark 集群会启动 Driver 和 Executor 两种JVM进程。 Driver 程序主要负责：创建 Spark上下文；提交 Spark作业（Job）并将 Job 转化为计算任务（Task）交给 Executor 计算；协调阅读全文

posted @ 2020-08-04 15:27 笨小康u 阅读(2733) 评论(1) 推荐(0) 编辑

2020年7月31日

Java排序器之升序or降序

摘要：一、如何确定升序还是降序？ Java中在进行对象排序时，设计的排序器经常会对两个对象按照一定的排序规则排序，可如何确定排序规则是升序还是降序呢？笔者整理了一个简单的方法来确定排序规则。 o1和o2是需要表示排序的两个对象，假定比较前的默认顺序为 [o1, o2]，是升序还是降序暂时不做考虑，完全根据阅读全文

posted @ 2020-07-31 14:21 笨小康u 阅读(2105) 评论(0) 推荐(0) 编辑

2020年7月17日

Yarn SLS环境运行异常问题

摘要：运行Hadoop SLS原生环境时遇到的一些问题，记录下踩过的坑，方便后续朋友参考。异常一：ERROR: output job file is existing 异常信息： # ./rumen2sls.sh --rumen-file=/opt/cloudera/parcels/CDH/share/ 阅读全文

posted @ 2020-07-17 17:11 笨小康u 阅读(660) 评论(0) 推荐(0) 编辑

Yarn SLS（Scheduler Load Simulator）模拟调度器

摘要：一、调度压力模拟器介绍最近在调研Yarn调度性能问题，考虑到线上集群规模已达到5k+台，在线上环境实验是不太可行的，因此必须在线上有一套环境来验证调度器的性能，才能把有效的优化策略推广到线上环境。在线下环境搭建一套和线上规模相同的集群是不太合理的，需要耗费大量物理资源，成本耗费非常高。因此，需要有阅读全文

posted @ 2020-07-17 16:53 笨小康u 阅读(1218) 评论(0) 推荐(0) 编辑

2020年5月27日

Java如何设计自定义排序器

摘要：在使用Java无序集合时，经常需要对集合进行排序，此时需要我们自己去实现排序逻辑。接下来就以TreeSet为例来看看如何对集合进行排序。 TreeSet对元素排序有两种方式：第一种：复写Comparable接口的compareTo方法。第二种：采用自定义Comparator比较器场景：对象Pe 阅读全文

posted @ 2020-05-27 18:47 笨小康u 阅读(985) 评论(0) 推荐(0) 编辑

2020年5月25日

ResourceManager总体架构

摘要：一、ResourceManager基本职能在YARN中，ResourceManager负责集群中所有资源的统一管理和分配，它接收来自各个节点（NodeManager）的资源汇报信息，并把这些信息按照一定的策略分配给各个应用程序（实际上是ApplicationMaster）。整体上讲，Resourc 阅读全文

posted @ 2020-05-25 14:39 笨小康u 阅读(779) 评论(0) 推荐(0) 编辑

笨小康

「星辰大海，如期而至」