bluedarkni

摘要： 前面也说到过的Yarn是hadoop体系中的资源调度平台。所以在整个hadoop的包里面自然也是有它的。这里我们就简单介绍下，并配置搭建yarn集群。 首先来说Yarn中有两大核心角色Resource Manager和Node Manager。 Resource Manager负责接收用户提交的分布 阅读全文

摘要： 一、name node管理元数据 元数据：hdfs的目录结构以及文件文件的块信息（块副本数量，存放位置等）。 Namenode把元数据存在内存中，以方便改动，同时也会在某个时间点上面将其写到磁盘上（fsimage镜像文件）。同时还会把引起元数据变化的操作记录在edits日志文件中。重新启动或者是服务 阅读全文

摘要： 一、参数设置 之前有说到HDFS的备份数量和切块大小都是可以配置的，默认是备份3，切块大小默认128M 文件的切块大小和存储的副本数量，都是由客户端决定！ 所谓的由客户端决定，是通过客户端机器上面的配置参数来定 hdfs的客户端会读以下两个参数，来决定切块大小、副本数量： 切块大小的参数： dfs. 阅读全文

摘要： 一、准备工作 1.准备几台机器，我这里使用VMware准备了四台机器，一个name node，三个data node。 VMware安装虚拟机：https://www.cnblogs.com/nijunyang/p/12001312.html 2.Hadoop生态几乎都是用的java开发的，因此四台 阅读全文

摘要： 一、大数据简述 在互联技术飞速发展过程中，越来越多的人融入互联网。也就意味着各个平台的用户所产生的数据也越来越多，可以说是爆炸式的增长，以前传统的数据处理的技术已经无法胜任了。比如淘宝，每天的活跃用户量是很大的一个数目。马云之前说过某个省份的女性bar的size最小问题，不管是玩笑还什么，细想而知， 阅读全文

摘要： 之前有说到springboot自动装配的时候，都是去寻找一个XXXAutoConfiguration的配置类，然而我们的springboot的spring.factories文件中有各种组件的自动装配类，到底哪些应该生效，哪些又不生效呢？这个时候就要用到spring提供的条件注解了。 比如： @Co 阅读全文

摘要： 年关将近，各类促销活动即将上线，类似支付宝集五福的那种，用户凑齐卡片之后，可以瓜分百万红包。 因为这种瓜分活动集齐的人数肯定是很多的，直接随机之后再扣减，感觉不是很合适。 大致思路如下：因为是集卡截止后再进行红包瓜分的，集齐的用户可能几十万上百万，所以就先根据集齐卡片的用户数，先将红包随机瓜分好，存 阅读全文

摘要： 首先VMware版本15.1，linux:CentOS7 64位（ISO镜像），准备好这两个就可以开始安装我们的虚拟机了。 VMware的安装就不赘述了，这里主要说下怎么在VMware上面安装linux系统以及网络配置 一、创建虚拟机 1.打开VMware创建新的虚拟机 >选择自定义 2.一直下一步 阅读全文

摘要： 1.为什么需要自己实现参数解析器 我们都知道在有注解的接口方法中加上@RequestBody等注解，springMVC会自动的将消息体等地方的里面参数解析映射到请求的方法参数中。 如果我们想要的信息不完全是来自消息体等地方，比如说一部分是消息体，一部分是消息头，甚至一部分从配置中获取。这个时候我们又 阅读全文

摘要： 前面一节说到invokeBeanFactoryPostProcessors方法的调用来注册bean定义，这次来看看finishBeanFactoryInitialization这个方法实例化非懒加载的单例bean。 1.refresh方法中调用invokeBeanFactoryPostProcess 阅读全文