马晟

摘要： 1.大数据处理框架 1.1 四层结构 大数据处理框架一般可以大致分为四层结构： 用户层 分布式数据并行处理层 资源管理与任务调度层 物理执行层 下面分别就四层进行详细解释。 1.1.1 用户层 主要包括： 输入数据：考虑数据如何高效读取（减少磁盘I/O）、批式和流式不同的读取方式等 用户代码 配置参 阅读全文

摘要： 1.获取入口类 从hive以及ext/cli.sh脚本里面可以看到执行的主类为org.apache.hadoop.hive.cli.CliDriver 2.执行main方法 3.执行run方法 3.1 解析系统参数，比如hiveconf、hive.root.logger等 process_stage 阅读全文

摘要： （来自于B站韩老师Java反射专题整理相关笔记，链接：https://www.bilibili.com/video/BV1g84y1F7df） ps：好像从博客园不能直接跳转，可以复制到浏览器打开 1. 反射机制 1.1 引出： 需求：根据配置文件(xx.properties)创建对象并调用方法 这 阅读全文

摘要： 1.常见操作 1.1 检测数n的第k位是否为1 n & (1 << (k - 1)) 1.2 将n的第k位置为1 n | (1 << (k - 1)) 1.3 将n的第k位清零 n & ~(1 << (k - 1)) 1.4 判断两个整数是否异号 x ^ y < 0 异号 否则同号 1.5 交换两个 阅读全文

摘要： Shuffle过程主要分为Shuffle write和Shuffle read两个阶段，2.0版本之后hash shuffle被删除，只保留sort shuffle，下面结合代码分析： 1.ShuffleManager Spark在初始化SparkEnv的时候，会在create()方法里面初始化Sh 阅读全文

摘要： 1.信息 文本文件：只由ASCII字符构成的文件 二进制文件：所有其他文件 区分不同数据对象的唯一方法：根据字节序列的上下文 2.编译过程 从源文件到可执行目标文件，执行： gcc -o hello hello.c 分为四个阶段： 预处理阶段：预处理器（cpp）修改原来的C程序，得到hello.i文 阅读全文

摘要： 使用DataStream API开发的应用程序，首先被转换为Transformation，再被映射为StreamGraph，在客户端进行StreamGraph、JobGraph的转换，提交JobGraph到Flink集群后，Flink集群负责将JobGraph转换为ExecutionGraph，之后 阅读全文

摘要： 1.序言 Flink在内部以二进制的格式将数据保存，由于普通的Java对象类型和内部二进制格式不一致，需要一套相互转换机制来进行序列化和反序列化。 2.DataStream类型系统 2.1 物理类型 Flink支持的物理类型如下图所示： 分为基础类型、数组类型、复合类型、辅助类型、泛型和其他类型，如 阅读全文

摘要： 1.命令 启动： zookeeper: bin/zkServer.sh start kafka: bin/kafka-server-start.sh -daemon config/server.properties 查看topic： bin/kafka-topics.sh --bootstrap-s 阅读全文

摘要： public class MergeTwoList { public class ListNode { int val; ListNode next; ListNode() { } ListNode(int val) { this.val = val; } ListNode(int val, Lis 阅读全文