来自火星写代码的你

摘要： ObjectPool 接口： public enum PooledObjectState { /** * In the queue, not in use. */ IDLE, /** * In use. */ ALLOCATED, /** * In the queue, currently bein 阅读全文

摘要： 概述 基本功能： 依赖管理 : 管理所需依赖 依赖包版本控制 ： 每个依赖都可以定义 version 对应的包管理平台 ： 进行包的下载 可以私有化部署 ： 包管理工具可以私有化部署 代码包是否可以复用 ： 包管理工具必须可以复用 构建，测试,打包 ： 类似于 go build go test go 阅读全文

摘要： 关键易错知识点总结 Stacking defers 最后进去的先出去执行 ， defer 在函数返回的时候调用； 并且 defer中的函数所属的变量是初始化的时候就绑定的 slice 2种区别： make([]int, 5 （长度）, 5（容量）) 相当于初始化如下效果 [0,0,0,0,0] ma 阅读全文

摘要： 简介 flink state 毫不夸张的讲是 flink最核心的功能，个人理解是比 spark强大百倍的最关键实现，既然如此核心，所以接下来就进行专项练习以求彻底搞懂并且学习。 案例执行 测试代码 public class TestKeyedStateMain { public static voi 阅读全文

摘要： 简介 Apache Flink® — Stateful Computations over Data Streams 有状态的流是其最大的特性， 可以使用 stage 进行各种状态的保存。 flink 架构图 flink 核心概念 有状态 分布式 并行度 flink 分布式运行环境： TaskMan 阅读全文

摘要： 概述 Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。 Spark SQL的特点 容易整合（集成） 统一的数据访问方式 兼容Hive 标准的数据连接 基本概念：Datasets和DataFrames DataF 阅读全文

摘要： Spark作业基本运行原理 1、Driver进程会将我们编写的Spark作业代码分拆为多个stage，每个stage执行一部分代码片段，并为每个stage创建一批task，然后将这些task分配到各个Executor进程中执行。 Executor 内存使用分为三块 1、让task执行我们自己编写的代 阅读全文

摘要： 开发调优原则 避免创建重复的RDD 对于同一份数据，只应该创建一个 RDD，不能创建多个 RDD 来代表同一份数据。否则 我们的 Spark 作业会进行多次重复计算来创建多个代表相同数据 的 RDD，进而增加了作业的性能开销。 // 需要对名为“hello.txt”的HDFS文件进行一次map操作， 阅读全文

摘要： Spark 比 MR 好在那？ （）Hadoop的MapReduce计算模型存在的问题： MapReduce的核心是Shuffle（洗牌）。在整个Shuffle的 过程中，至少会产生6次的I/O。 中间结果输出：基于MapReduce的计算引擎通常会将中间结果输出到磁盘上，进行存储和容错。另 外，当 阅读全文

摘要： Hive 简介 Hive 由 Facebook 实现并开源，是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据 映射 为一张数据库表，并提供 HQL(Hive SQL)查询功能，底层数据是存储在 HDFS 上。Hive 的本质是将 SQL 语句转换为 MapReduce 任务运行，使不熟悉 阅读全文

摘要： 概述 最近遇到线上故障，具体的情况就是后端服务请求一直 pending，服务经常假死重启。 但是观察 整个进程CPU + 内存消耗不是特别大， 没有明显的资源泄漏情况。 故障回溯 top -p 40872 查看进程情况，发现没有明显的 内存和 CPU使用率过高 top -Hp 40872 查看进程下 阅读全文