03 2017 档案

Python 学习笔记大纲
摘要：Python Basic 第一章：Python基础の快速认识基本语法 (点击进入博客)我的第一个HelloPython程序、如何实现用户输入、Python的自带电池(模块)、变量、格式化、条件判断、循环和操作实战 第二章：Python基础の快速认识基本数据类型和操作实战 (点击进入博客)谈谈Pyth 阅读全文
posted @ 2017-03-18 22:24 無情 阅读(1459) 评论(0) 推荐(0)
Spark 学习笔记大纲
摘要：Spark 内核 第28课：Spark天堂之门解密 (点击进入博客)从 SparkContext 创建3大核心对象开始到注册给 Master 这个过程中的源码鉴赏 第29课：Master HA彻底解密 (点击进入博客)从 Master 如何基于 ZooKeeper 来做 HA 的源码鉴赏 第30课： 阅读全文
posted @ 2017-03-16 23:53 無情
[Spark SQL] SparkSession、DataFrame 和 DataSet 练习
摘要：本課主題 DataSet 实战 DataSet 实战 SparkSession 是 SparkSQL 的入口，然后可以基于 sparkSession 来获取或者是读取源数据来生存 DataFrameReader，在 Spark 2.x 版本中已经没有 DataFrame 的 API，它变成了 Dat 阅读全文
posted @ 2017-03-16 23:40 無情 阅读(4370) 评论(0) 推荐(0)
[Spark內核] 第41课：Checkpoint彻底解密：Checkpoint的运行原理和源码实现彻底详解
摘要：本课主题 Checkpoint 运行原理图 Checkpoint 源码解析 引言 Checkpoint 到底是什么和需要用 Checkpoint 解决什么问题： Checkpoint 运行原理图 [下图是 Checkpoint 运行原理图] Checkpoint 源码解析 參考資料 资料来源来至 D 阅读全文
posted @ 2017-03-12 18:29 無情 阅读(6171) 评论(0) 推荐(0)
[Spark性能调优] 源码补充 : Spark 2.1.X 中 Unified 和 Static MemoryManager
摘要：本课主题 Static MemoryManager 的源码鉴赏 Unified MemoryManager 的源码鉴赏 引言 从源码的角度了解 Spark 内存管理是怎么设计的，从而知道应该配置那个参数让程序运行更适合你的实际需要，我们为什么要把 Spark Memory 这块内存调大，原因很简单， 阅读全文
posted @ 2017-03-12 16:16 無情 阅读(1509) 评论(1) 推荐(0)
[Spark性能调优] 第四章 : Spark Shuffle 中 JVM 内存使用及配置内幕详情
摘要：本课主题 JVM 內存使用架构剖析 Spark 1.6.x 和 Spark 2.x 的 JVM 剖析 Spark 1.6.x 以前 on Yarn 计算内存使用案例 Spark Unified Memory 的运行原理和机制 引言 Spark 从1.6.x 开始对 JVM 的内存使用作出了一种全新的 阅读全文
posted @ 2017-03-12 13:41 無情 阅读(19028) 评论(0) 推荐(5)
[Spark内核] 第40课：CacheManager彻底解密：CacheManager运行原理流程图和源码详解
摘要：本课主题 CacheManager 运行原理图 CacheManager 源码解析 CacheManager 运行原理图 [下图是CacheManager的运行原理图] 首先 RDD 是通过 iterator 来进行计算： CacheManager 会通过 BlockManager 从 Local 阅读全文
posted @ 2017-03-07 00:31 無情 阅读(2001) 评论(0) 推荐(0)
[Spark内核] 第38课：BlockManager架构原理、运行流程图和源码解密
摘要：本课主题 BlockManager 运行實例 BlockManager 原理流程图 BlockManager 源码解析 引言 BlockManager 是管理整个Spark运行时的数据读写的，当然也包含数据存储本身，在这个基础之上进行读写操作，由于 Spark 本身是分布式的，所以 BlockMan 阅读全文
posted @ 2017-03-06 01:44 無情 阅读(7617) 评论(0) 推荐(1)
[Spark内核] 第37课：Task执行内幕与结果处理解密
摘要：本课主题 Task执行内幕与结果处理解密 引言 这一章我们主要关心的是 Task 是怎样被计算的以及结果是怎么被处理的 了解 Task 是怎样被计算的以及结果是怎么被处理的 Task 执行原理流程图 [下图是Task执行原理流程图] ShuffleMapTask: ShuffleMapTask 在计 阅读全文
posted @ 2017-03-05 20:35 無情 阅读(1088) 评论(0) 推荐(0)
[Spark内核] 第36课：TaskScheduler内幕天机解密：Spark shell案例运行日志详解、TaskScheduler和SchedulerBackend、FIFO与FAIR、Task运行时本地性算法详解等
摘要：本課主題 通过 Spark-shell 窥探程序运行时的状况 TaskScheduler 与 SchedulerBackend 之间的关系 FIFO 与 FAIR 两种调度模式彻底解密 Task 数据本地性资源分配源码实现 引言 TaskScheduler 是 Spark 整个调度的底层调度器，底层 阅读全文
posted @ 2017-03-05 20:34 無情 阅读(1969) 评论(0) 推荐(1)
[Spark内核] 第35课：打通 Spark 系统运行内幕机制循环流程
摘要：本课主题 打通 Spark 系统运行内幕机制循环流程 引言 通过 DAGScheduelr 面向整个 Job，然后划分成不同的 Stage，Stage 是從后往前划分的，执行的时候是從前往后执行的，每个 Stage 内部有一系列任務，前面有分享過，任务是并行计算啦，这是并行计算的逻辑是完全相同的，只 阅读全文
posted @ 2017-03-01 23:33 無情 阅读(1361) 评论(0) 推荐(0)