mxgboy

摘要： Zookeeper提供了一套很好的分布式集群管理的机制，就是它这猴子那个几月层次型的目录树的数据结构，并对书中的节点进行有效的管理，从而可以设计出多种多样的分布式的数据管理模型；下面简要介绍下zookeeper在Dubbo中的应用。 dubbo主要解决了下图中描述的问题，像阿里巴巴这种规模的互联网公 阅读全文

摘要： 1-map task的并发数量是由切片的数量决定的，有多少个切片就有启动多少个map task； 2-切片是一个逻辑的概念，指的是文件中数据的偏移量范围； 3-切片的具体大小应该根据所处理的文件大小来调整；例如：小文件的切片有多个block组成； reduce的并发数量由，partition分组决定 阅读全文

摘要： 普通的序列化需要将类型的继承结构也序列化，但是hadoop只序列化对象本身，忽略继承关系，因为hadoop中传输的自定义类型一般都是简单的类型，这样可以减少传输的序列化数据，降低网络带宽的使用。 阅读全文

摘要： 本地模式运行 1-在windows的eclipse里面直接运行main方法 将会将job提交给本地执行器localjobrunner 输入输出数据可以放在本地路径下 输入输出数据放在HDFS中：(hdfs://xxx:9000/wc/srcdata）,如果将hdfs的配置文件放在类路径下面，那么不用 阅读全文

摘要： RPC：远程过程调用 进程之间相互调用 远程过程调用有很多线程的框架，例如： 1-JAVA的RMI 2-Webservice 3-hadoop中的RPC hadoop中各个节点之间的通信都是使用RPC Hadoop中的RPC Hadoop中各个节点之间的交互都是基于RPC的，底层原理同上面所描述的。 阅读全文

摘要： NameNode主要保存了下面的内容 1-维护元数据信息。Block和文件之间的关系，即某一个特定文件都有哪些Block； 2-每一个Block存储在什么位置（DataNode上面）； 3-维护HDFS上面虚拟的目录树； 4-响应客户端的请求； NameNode如何保证元数据的可靠性 fsimage 阅读全文

摘要： 最常用的一个使用场景是：一个父工程下面好几个子module，module之前可能会有引用关系，那么要想被引用的module在发起引用的module中被识别，需要在子module执行下面的步骤： mvn clean：将之前编译好的字节码清空； mvn compile：重新编译子模块的源码； mvn p 阅读全文

摘要： 在linux操作系统中使用基于c的源码安装软件的同学都是知道要执行configure、make、make test、make install。但是这些到底啥，做了什么事情呢，虽然不是做c开发的，但是还是要简单了解下，不能傻呵呵跟机器人一样执行命令，然后都不知道是啥意思。 makefile文件 一个工 阅读全文

摘要： 当前，Spring毫无疑问已经成为java后台对象管理标准框架，除了通过IOC能够管理我们的自定义对象的生命周期之外还提供了众多功能繁复的可配置功能模块。但同时带来了复杂的配置项，这对初学者而言简直是一种灾难。于是SpringBoot应运而生，Springboot的出现大大简化了配置，主要表现在消除 阅读全文

摘要： 不做前端好多年，之所以突然写这个，是因为最近在做一个监控平台，需要一点web前端开发，想着顺便做了，但是由于长时间没接触前端导致一些基础知识的遗忘，所以在此记录下备忘，没有啥高深的东西，完全是为了对抗我日渐衰弱的记忆力。作为一个非专业前端开发者，通常使用的场景都是能够熟练应用各种前端框架，迅速搭建一 阅读全文