lj72808up

摘要： 1. 确定合适的map个数 map个数 = max[ \${maperd.min.split.size}, min( \${dfs.block.size} , \${mapred.max.split.size} )] maperd.min.split.size：splt最小分片，默认1B mapre 阅读全文

摘要： 一. 使用jmx让远程工具连接java进程 开启jmx： 1. 无需验证的配置： Dcom.sun.management.jmxremote Dcom.sun.management.jmxremote.authenticate=false Dcom.sun.management.jmxremote. 阅读全文

摘要： 一. 判断对象已死的方法 1. 引用计数法 （1）思路：给对象添加一个计数器，每当一个地方引用它，计数器就+1，当一个引用失效，计数器 1. 计数器值为0的对象，背叛定位已死对象 （2）缺点：引用计数器无法处理处理互相引用的问题。当两个对象互相引用时，即使这两个对象被置为null，但是由于互相引用着 阅读全文

摘要： 一.JVM的出现 1. JVM将字节码解释成不同os下的机器指令，有了jvm，java语言在不同平台上运行时不需要重新编译 2. 虚拟机发展史 （1）Sun Classic 1. classic jvm要么采用纯解释器解释执行，要么采用JIT编译执行，一旦JIT进行编译执行，则解释器不再生效 2. 阅读全文

摘要： 一. yarn的资源分配模型 无论先进先出调度器，容量调度器，还是公平调度器，他们的核心：资源分配模型是一样的。 1. 调度器维护着多个队列的信息，用户可以向任意一个或多个队列提交job。每次NodeManager向ResourceManager发送心跳时，调度器都会选择一个队列，再在队列上选择一个 阅读全文

摘要： 一. Server 二. Client java public class TimeClient_argu { private static Logger logger = LoggerFactory.getLogger("timeclient argu"); public static void 阅读全文

摘要： 一. Hbase读流程 1. META表记录着表的原信息，根据rowkey查询META表，获取所在region信息 2. 客户端去相应的regionServer查询数据，先查询memStore（memstore是一个按key排序的树形结构缓冲区），有就返回，没有继续查找 3. 查询regionSer 阅读全文

摘要： 一.如何进行leader选举 1. 创建 /lj/producer和/lj/master/producer外层节点 2. 创建临时顺序节点 3. 判断自己是否是master节点（判断流程：遍历/lj/producer节点下的所有节点名称，选择尾数最小的作为master）,如果是master节点，则在 阅读全文

摘要： 一. Hbase的逻辑模型与物理模型 1. 逻辑结构 （1）行健 : 用于唯一标识一行记录 , 数据的内容只能通过行健获得 (行健本身也是字段,相当于PK主键) （2）列族 : 一系列列的集合 , 每个列族以单独的文件形式存在 . 不同的列分到不同的列族, 使得不同的列写往不同的文件。 可以提高并发 阅读全文

摘要： 一. MapReduce执行过程 1. 分片： （1）对输入文件进行逻辑分片，划分split（split大小等于hdfs的block大小） （2）每个split分片文件会发往不同的Mapper节点进行分散处理 2. mapper任务 （3）每个Mapper节点拿到split分片后，创建RecordR 阅读全文