摘要： Spark解决数据倾斜（Data Skew） 摘要 本文结合实例详细阐明了Spark数据倾斜的几种场景以及对应的解决方案，包括避免数据源倾斜，调整并行度，使用自定义Partitioner，使用Map侧Join代替Reduce侧Join，给倾斜Key加上随机前缀等。 为何要处理数据倾斜（Data Sk 阅读全文

摘要： 大数据平台作业调度系统详解－理论篇 大数据开发平台的核心组件之一：作业调度系统。 作业调度系统是一个相对复杂的系统，涉及的内容繁杂，针对的场景多种多样，实现的方案千差万别，是一个需要理论和实践并重的系统。 本文先从大的场景划分的角度对市面上的各种调度系统进行分类讨论，然后再针对具体的作业调度系统，探 阅读全文

摘要： 今天重点来看一下 Netty 是如何实现封装成帧(Framing)方案的。 解码核心流程 之前介绍过三种解码器FixedLengthFrameDecoder、DelimiterBasedFrameDecoder、LengthFieldBasedFrameDecoder，它们都继承自ByteToMes 阅读全文

摘要： 堆外内存回收 一、JVM内存的分配及垃圾回收 对于JVM的内存规则，应该是老生常谈的东西了，这里我就简单的说下： 新生代：一般来说新创建的对象都分配在这里。 年老代：经过几次垃圾回收，新生代的对象就会放在年老代里面。年老代中的对象保存的时间更久。 永久代：这里面存放的是class相关的信息，一般是不 阅读全文

摘要： 三步创建Disruptor应用 在正式使用Disruptor之前，我们先声明一个ObjectEvent类，它用来传递消息的内容。 public class ObjectEvent { private Object object; public Object getObject() { return 阅读全文

摘要： 0、算法概述 0.1 算法分类 十种常见排序算法可以分为两大类： 比较类排序：通过比较来决定元素间的相对次序，由于其时间复杂度不能突破O(nlogn)，因此也称为非线性时间比较类排序。 非比较类排序：不通过比较来决定元素间的相对次序，它可以突破基于比较排序的时间下界，以线性时间运行，因此也称为线性时 阅读全文

摘要： 权限系统设计 前言 权限管理是所有后台系统的都会涉及的一个重要组成部分，主要目的是对不同的人访问资源进行权限的控制，避免因权限控制缺失或操作不当引发的风险问题，如操作错误，隐私数据泄露等问题。目前在公司负责权限这块,所以对权限这块的设计比较熟悉,公司采用微服务架构,权限系统自然就独立出来了,其他业务 阅读全文

摘要： 就是如果你使用了maven，使用了插件打包的方式的话，那么你就需要了解这俩用法的区别了。 java -jar 必须要在 pom.xml 文件中指定主类，不可以指定一个主类，然后运行的时候在jar包后面继续指定主类 java -cp 不需要在 pom.xml 文件中指定主类，主类是否指定看自己需要，然 阅读全文

摘要： 1、分布式 各个层次都可能有分布式，比如： (1)、数据库层：整个应用的数据可能一部分分布在oracle数据库中，另一部分分布在mysql面都有可能。 (2)、应用层：整个应用的各个业务逻辑可能分布在不同的应用服务器里面，比如应用有权限管理、公文管理，每一个部分可能分布在不同的应用服务器（分布式服务 阅读全文

摘要： What is MapReduce？ MapReduce是一个流行的针对数据密集任务的分布式计算模型，它正在发展成为用来支撑包括Web索引、数据挖掘和科学仿真等领域的大规模数据并行应用的重要编程模型。 Hadoop是Google公司的MapReduce编程模型的最受欢迎的Java开源实现。在很多公司 阅读全文