08 2022 档案

Yarn架构简述
摘要：Yarn 架构 ResourceManager: 处理客户端请求、启动/监控 ApplicationMaster、监控 NodeManager、资源分配和调度 NodeManager：单个节点上的资源管理，处理来自 ResourceManager 的命令、处理来自 ApplicationMaster 阅读全文
posted @ 2022-08-31 22:59 女友在高考 阅读(102) 评论(0) 推荐(0)
性能调优读书笔记（下篇）
摘要：一、并行程序开发优化 1、Future 设计模式 public class Client { public Data request(final String queryStr){ final FutureData future=new FutureData(); new Thread(){ pub 阅读全文
posted @ 2022-08-30 20:51 女友在高考 阅读(121) 评论(0) 推荐(0)
性能调优读书笔记（上篇）
摘要：一、Amdahl定律 加速=优化前耗时/优化后耗时比 公式图： 二、设计模式 1、单例模式 静态内部类的方式： /** * 内部类的单例模式 */ public class StaticSingleton { private StaticSingleton(){ System.out.println 阅读全文
posted @ 2022-08-29 22:44 女友在高考 阅读(692) 评论(0) 推荐(4)
踩坑，发现一个ShardingJdbc读写分离的BUG
摘要：ShardingJdbc 怎么处理写完数据立即读的情况的呢？ 写在前面 我本地使用了两个库来做写库（ds_0_master）和读库(ds_0_salve)，两个库并没有配置主从。 下面我就使用库里的 city 表做实验。主库的 city 表没有数据，而从库的 city 表就一条数据 我们讨论 4 种 阅读全文
posted @ 2022-08-28 17:55 女友在高考 阅读(516) 评论(0) 推荐(0)
MapReduce核心原理（下）
摘要：MapReduce 中的排序 MapTask 和 ReduceTask 都会对数据按key进行排序。该操作是 Hadoop 的默认行为，任何应用程序不管需不需要都会被排序。默认排序是字典顺序排序，排序方法是快速排序 下面介绍排序过程： MapTask 它会将处理的结果暂时放到环形缓冲区中，当环形缓冲 阅读全文
posted @ 2022-08-23 22:40 女友在高考 阅读(453) 评论(0) 推荐(0)
刚来公司就接了一个不发版直接改代码的需求
摘要：前言 前几天突然接到一个技术需求，想要做一个功能。前端有一个表单，在页面上可以直接写 java 代码，写完后就能保存到数据库，并且这个代码实时生效。这岂非是不用发版就可以随时改代码了吗？而且有bug也不怕，随时改。 适用场景：代码逻辑需要经常变动的业务。 核心思想 页面改动 java 代码字符串 j 阅读全文
posted @ 2022-08-20 16:47 女友在高考 阅读(2019) 评论(19) 推荐(6)
MapReduce核心原理
摘要：MapTask 运行机制详解 MapTask 流程 详细步骤： 读取数据的组件 InputFormat 会通过 getSplits 方法对输入目录中文件进行逻辑切片规划得到 splits，有多少 split 就对应启动多少个 MapTask。split 与 block 的对应关系默认是一对一。 将输 阅读全文
posted @ 2022-08-20 10:42 女友在高考 阅读(105) 评论(0) 推荐(0)
MapReduce入门实战
摘要：MapReduce 思想 MapReduce 是 Google 提出的一个软件架构，用于大规模数据集的并行运算。概率“Map(映射)”和“Reduce（归约）”以及它们的思想都是从函数式编程语言借鉴的，还有从矢量编程语言借来的特性。 当前的软件实现是指定一个“Map”函数，用来把一组键值对映射成一组 阅读全文
posted @ 2022-08-14 11:22 女友在高考 阅读(470) 评论(0) 推荐(0)
HDFS核心原理
摘要：HDFS 读写解析 HDFS 读数据流程 客户端通过 FileSystem 向 NameNode 发起请求下载文件，NameNode 通过查询元数据找到文件所在的 DataNode 地址 挑选一台 DataNode（就近原则）服务器，发送读取数据请求 DataNode 开始传输数据给客户端 客户端以 阅读全文
posted @ 2022-08-08 13:35 女友在高考 阅读(625) 评论(5) 推荐(1)
HDFS基础入门
摘要：HDFS简介 HDFS（全称：Hadoop Distribute File System）分布式文件系统，是Hadoop核心组成。 HDFS中的重要概念 分块存储 HDFS中的文件在物理上是分块存储的，块的大小可以通过配置参数来规定；Hadoop2.x版本默认的block大小是128M 命名空间 H 阅读全文
posted @ 2022-08-06 09:47 女友在高考 阅读(623) 评论(0) 推荐(0)
Hadoop集群搭建
摘要：Apache Hadoop 分布式集群搭建 基础环境准备 三台 linux 节点，操作系统（Centos7） 关闭防火墙 systemctl stop firewalld 开机时禁用防火墙 systemctl disable firewalld 修改主机名 vi /etc/hosts 192.168 阅读全文
posted @ 2022-08-02 20:56 女友在高考 阅读(713) 评论(0) 推荐(0)