yhkdw

摘要： 今日了解了spark应用阶段 用户程序从最开始的提交到最终的计算执行，需要经历以下几个阶段： 1）、用户程序创建 SparkContext 时，新创建的 SparkContext 实例会连接到 ClusterManager。 Cluster Manager 会根据用户 提交时设置的 CPU 和内存等 阅读全文

摘要： 今日了解了 StandAlone集群在进程上主要有3类进程: 主节点Master进程： Master角色, 管理整个集群资源，并托管运行各个任务的Driver 从节点Workers： Worker角色, 管理每个机器的资源，分配对应的资源来运行Executor(Task)； 每个从节点分配资源信息给 阅读全文

摘要： 今日了解了Spark的4040端口 Spark的任务在运行后,会在Driver所在机器绑定到4040端口,提供当前任务的监控页 面供查看 阅读全文

摘要： 今日了解了 Standalone模式是Spark自带的一种集群模式，不同于前面本地模式启动多个进程来模拟集群的环境，Standalone模 式是真实地在多个机器之间搭建Spark集群的环境，完全可以利用该模式搭建多机器集群，用于实际的大数据处理。 StandAlone 是完整的Spark运行环境,其 阅读全文

摘要： 今日了解了spark自带程序bin/pyspark 是一个交互式的解释器执行环境,环境启动后就得到了一个Local Spark环境,可以运 行Python代码去进行Spark计算,类似Python自带解释器 阅读全文

摘要： 今日了解了local模式中角色分布 Local 下的角色分布： 资源管理： Master：Local进程本身 Worker：Local进程本身 任务执行： Driver：Local进程本身 Executor：不存在，没有独立的Executor角色, 由Local进程(也就是Driver)内的线程提供 阅读全文

摘要： 今日了解了local模式原理 本质：启动一个JVM Process进程(一个进程里面有多个线程)，执行任务Task Local模式可以限制模拟Spark集群环境的线程数量, 即Local[N] 或 Local[*] 其中N代表可以使用N个线程，每个线程拥有一个cpu core。如果不指定N， 则默认 阅读全文

摘要： 今日了解了Spark主要有4类角色，从2个层面去看： 资源管理层面 集群资源管理者（Master）：Master 单机资源管理者（Worker）：Worker 任务计算层面 单任务管理者（Master）：Driver 单任务执行者（Worker）：Executer 阅读全文

摘要： 今日了解了 YARN主要有4类角色，从2个层面去看： 资源管理层面 集群资源管理者（Master）：ResourceManager 单机资源管理者（Worker）：NodeManager 任务计算层面 单任务管理者（Master）：ApplicationMaster 单任务执行者（Worker）：T 阅读全文

摘要： 今天了解了 GraphX：以SparkCore为基础，进行图计算，提供了大量的图计算API，方便用于以分布式计算模式进行图计算。 阅读全文