摘要： 一、Spark编程模型 Spark常规步骤： 创建RDD-Scala集合/本地文件 并行度3，创建3个partition HDFS 文件被切分成block分布在多个节点上，通过textFile读入机器内存，转为RDD的partition对象。action触发之后，才真物理上去执行。 总结 外部的数据 阅读全文

摘要： 推送系统 一、系统设计 二、拆包和粘包 粘包、拆包表现形式 现在假设客户端向服务端连续发送了两个数据包，用packet1和packet2来表示，那么服务端收到的数据可以分为三种，现列举如下： 第一种情况，接收端正常收到两个数据包，即没有发生拆包和粘包的现象，此种情况不在本文的讨论范围内。 第二种情况 阅读全文

摘要： 在网络应用开发的过程中，直接使用JDK提供的NIO的API，比较繁琐，而且想要进行性能提升，还需要结合多线程技术。 由于网络编程本身的复杂性，以及JDK API开发的使用难度较高，所以在开源社区中，涌现出来了很多对JDK NIO进行封装、增强的网络编程框架，比如Netty、Mina等。 一、Nett 阅读全文

摘要： 从Java 1.4开始，Java提供了新的非阻塞IO操作API，用意是替代Java IO和Java Networking相关的API。 NIO中有三个核心组件： Buffer缓冲区 Channel通道 Selector选择器 一、Buffer缓冲区 缓冲区本质上是一个可以写入数据的内存块（类似数组） 阅读全文

摘要： 一、阻塞 服务器端 sc.accept()会使服务端一直阻塞，直到连接被创建 InputStream也是阻塞的 客户端 OutputStream也是阻塞的，写完成之后才会返回 当同时启动两个客户端的时候 服务器只建立了一个连接，并等待客户端的输入 我们在被等待的客户端输入123 服务器收到123，并 阅读全文

摘要： 一、OSI网络七层模型 因特网是一个极为复杂的网络，分层有助于我们对网络的理解 。分层也是一种标准，为了使不同厂商的计算机能够互相通信，以便在更大范围内建立计算机网络，有必要建立一个国际范围的网络体系结构标准。 ISO组织制定了OSI网络七层模型 而因特网只用到了五层 低三层： 屏蔽底层网络的复杂性 阅读全文

摘要： 术语 实现 算法 一、概述 存在对应关系就连边，邻接关系 顶点与顶点之间的关系 参与定义邻接关系的每个顶点，与这个邻接关系的关系称作关联关系 顶点与相关的某条边的关系 本章忽略下面这种边 无向图/有向图 所有边均无方向的图，即无向图undigrapy 反之，有向图digraph中均为有向边direc 阅读全文

摘要： 来源：大数据技术与架构 公众号 作者：机智的王知先 来源：大数据技术与架构 公众号 作者：机智的王知先 场景描述：大数据开发岗位技能树，学习和复习总纲。 关键词：面试 大数据 大纲 正所谓，无招胜有招。 愿读到这篇文章的技术人早日明白并且脱离技术本身，早登彼岸。 一切技术最终只是雕虫小技。 大纲 本 阅读全文

摘要： 一、树 Vector和List都有明显的弱点，都无法兼顾动态和静态操作的高效性。 Tree可以认为将Vector和List的优点结合了起来，可以认为是列表的列表List<List>，半线性结构。 应用 层次关系的表示 从数学上看，树是一类特殊的图，联通无环图。 树由一组顶点（vertex）以及连接于 阅读全文

摘要： OOP 面向对象编程 AOP 面向切面编程 FP 函数式编程 编程语言都要定义变量，一些代码是用来注释的，变量和变量之间有一些关系，要做一些运算，运算离不开流程控制，进行运算的数据往往来自数据结构，最基本的是数组。 所有编程语言的需要： 变量 注释 运算符 流程控制 数组 编码规范：命名、换行、缩进 阅读全文