女友在高考

摘要： HBase简介 HBase基于Google的BigTable论文而来，是一个分布式海量列式非关系型数据库系统，可以提供大规模数据集的实时随机读写。 下面通过一个小场景认识HBase存储。同样的一个数据 用Mysql存储是这样的： id | name | age| salary |job | | | 阅读全文

摘要： Yarn 架构 ResourceManager: 处理客户端请求、启动/监控 ApplicationMaster、监控 NodeManager、资源分配和调度 NodeManager：单个节点上的资源管理，处理来自 ResourceManager 的命令、处理来自 ApplicationMaster 阅读全文

摘要： 一、并行程序开发优化 1、Future 设计模式 public class Client { public Data request(final String queryStr){ final FutureData future=new FutureData(); new Thread(){ pub 阅读全文

摘要： 一、Amdahl定律 加速=优化前耗时/优化后耗时比 公式图： 二、设计模式 1、单例模式 静态内部类的方式： /** * 内部类的单例模式 */ public class StaticSingleton { private StaticSingleton(){ System.out.println 阅读全文

摘要： ShardingJdbc 怎么处理写完数据立即读的情况的呢？ 写在前面 我本地使用了两个库来做写库（ds_0_master）和读库(ds_0_salve)，两个库并没有配置主从。 下面我就使用库里的 city 表做实验。主库的 city 表没有数据，而从库的 city 表就一条数据 我们讨论 4 种 阅读全文

摘要： MapReduce 中的排序 MapTask 和 ReduceTask 都会对数据按key进行排序。该操作是 Hadoop 的默认行为，任何应用程序不管需不需要都会被排序。默认排序是字典顺序排序，排序方法是快速排序 下面介绍排序过程： MapTask 它会将处理的结果暂时放到环形缓冲区中，当环形缓冲 阅读全文

摘要： 前言 前几天突然接到一个技术需求，想要做一个功能。前端有一个表单，在页面上可以直接写 java 代码，写完后就能保存到数据库，并且这个代码实时生效。这岂非是不用发版就可以随时改代码了吗？而且有bug也不怕，随时改。 适用场景：代码逻辑需要经常变动的业务。 核心思想 页面改动 java 代码字符串 j 阅读全文

摘要： MapTask 运行机制详解 MapTask 流程 详细步骤： 读取数据的组件 InputFormat 会通过 getSplits 方法对输入目录中文件进行逻辑切片规划得到 splits，有多少 split 就对应启动多少个 MapTask。split 与 block 的对应关系默认是一对一。 将输 阅读全文

摘要： MapReduce 思想 MapReduce 是 Google 提出的一个软件架构，用于大规模数据集的并行运算。概率“Map(映射)”和“Reduce（归约）”以及它们的思想都是从函数式编程语言借鉴的，还有从矢量编程语言借来的特性。 当前的软件实现是指定一个“Map”函数，用来把一组键值对映射成一组 阅读全文

摘要： HDFS 读写解析 HDFS 读数据流程 客户端通过 FileSystem 向 NameNode 发起请求下载文件，NameNode 通过查询元数据找到文件所在的 DataNode 地址 挑选一台 DataNode（就近原则）服务器，发送读取数据请求 DataNode 开始传输数据给客户端 客户端以 阅读全文