the.forgotten

摘要： DiskStore 接着上一篇，本篇，我们分析一下实现磁盘存储的功能类DiskStore，这个类相对简单。在正式展开之前，我觉得有必要大概分析一下BlockManager的背景，或者说它的运行环境，运行的作用范围。Blockmanager这个类其实在运行时的每个节点都会有一个实例（包括driver和 阅读全文

摘要： MemeoryStore 上一节，我们对BlockManager的主要写入方法做了一个整理，知道了BlockMananger的主要写入逻辑，以及对于块信息的管理。但是，由于spark的整个存储模块是在是很庞大，而且很多细节的逻辑错综复杂，如果对于每个细节都刨根问底，一来精力有限，二来感觉也没有太大的 阅读全文

摘要： spark的存储系统 BlockManager源码分析 根据之前的一系列分析，我们对spark作业从创建到调度分发，到执行，最后结果回传driver的过程有了一个大概的了解。但是在分析源码的过程中也留下了大量的问题，最主要的就是涉及到的spark中重要的几个基础模块，我们对这些基础设施的内部细节并不 阅读全文

摘要： leetcode地址： https://leetcode.com/problems/convert-sorted-list-to-binary-search-tree/description/ 难度：中等 描述： Given a singly linked list where elements a 阅读全文

摘要： 回顾 上一篇，我们分析了了任务在executor端的运行流程，任务运行结束后，在Executor.launchTask方法最后，通过调用execBackend.statusUpdate方法将任务结果以及任务状态发送给driver。回到driver端，我们在driver的rpc服务端DriverEnd 阅读全文

摘要： CoarseGrainedExecutorBackend 上一篇，我们主要分析了一次作业的提交过程，严格说是在driver端的过程，作业提交之后经过DAGScheduler根据shuffle依赖关系划分成多个stage，依次提交每个stage，将每个stage创建于分区数相同数量的Task，并包装成 阅读全文

摘要： TaskSchedulerImpl 上一篇讲到DAGScheduler根据shuffle依赖对作业的整个计算链划分成多个stage之后，就开始提交最后一个ResultStage，而由于stage之间的依赖关系，实际上最终是循着计算链从上到下依次提交stage的。每提交一个stage，就会将这个sta 阅读全文

摘要： DAGScheduler stage划分和创建以及stage的提交 本篇，我会从一次spark作业的运行为切入点，将spark运行过程中涉及到的各个步骤，包括DAG图的划分，任务集的创建，资源分配，任务序列化，任务分发到各个executor，任务执行，任务结果回传driver等等各个环节串联起来，以 阅读全文

摘要： leetcode地址： https://leetcode.com/problems/odd-even-linked-list/description/ 描述： Given a singly linked list, group all odd nodes together followed by t 阅读全文

摘要： leetcode地址：https://leetcode.com/problems/palindrome-linked-list/description/ 描述： Given a singly linked list, determine if it is a palindrome. Example 阅读全文