摘要：小课堂Week8 例外处理设计的逆袭Part1 今天和大家讲一本书，书名是《例外处理设计的逆袭》。 为什么想讲这本书，是因为，例外处理在程序代码中到处存在，但是这些到底该如何写好，总觉得有些懵懵懂懂。正好听到Jackson老师的推荐，读到了这本书，如获甘霖，好东西和大家分享。 什么是例外处理 这本书 阅读全文

摘要：Spark小课堂Week7 从Spark中一个例子看面向对象设计 今天我们讨论了个问题，来设计一个Spark中的常用功能。 功能描述：数据源是一切处理的源头，这次要实现下加载数据源的方法load() 初始需求 需求：支持Json数据源加载 具体：输入一个path，需要返回一个Relation， Re 阅读全文

摘要：Spark Tungsten揭秘 Day4 内存和CPU优化使用 今天聚焦于内存和CPU的优化使用，这是Spark2.0提供的关于执行时的非常大的优化部分。 对过去的代码研究，我们会发现，抽象的提高，转过来会变成对CPU和内存的使用。也就是说，抽象提升，会对内存对Cpu会有很多不必要的使用，执行很多 阅读全文

摘要：Spark Tungsten揭秘 Day3 内存分配和管理内幕 恭喜Spark2.0发布，今天会看一下2.0的源码。 今天会讲下Tungsten内存分配和管理的内幕。Tungsten想要工作，要有数据源和数据结构，这时候会涉及到内存管理，而内存管理也是后续做很多分析和逻辑控制的基础。 内存分配 我们 阅读全文

摘要：Spark Tungsten揭秘 Day2 Tungsten sort Based Shuffle 今天在对钨丝计划思考的基础上，讲解下基于Tungsten的shuffle。 首先解释下概念，Tungsten sort是对普通sort的一种优化，排序的不是内容本身，而是内容序列化后字节数组的指针(元 阅读全文