12 2021 档案

分布式原理
摘要：ACID 原子性 一致性 一个事务在执行之前和执行之后，数据库都必须处于一致性状态。 隔离性 持久性 分布式事务 CAP 只能在一致性和可用性之间平衡 一致性 可用性 分区容错性 BASE Basicially Available(基本可用) 系统在出现不可预知的故障时，允许损失部分可用性 响应时间 阅读全文
posted @ 2021-12-27 02:10 Yu\.W 阅读(76) 评论(0) 推荐(0)
Spark记录
摘要：RDD只是一个逻辑概念，在内存中并不会真正地为某个RDD分配存储空间（除非该RDD需要被缓存）。 数据操作分为transform()和action()两种。 transform()是一个单向操作，rdd1进行操作后会产生新的rdd2，不会修改rdd1。 依赖 窄依赖（NarrowDependency 阅读全文
posted @ 2021-12-26 22:52 Yu\.W 阅读(72) 评论(0) 推荐(0)
Java虚拟机类加载过程
摘要：加载 获取类的二进制字节流 字节流所代表的静态存储结构转化为方法区的运行时数据结构 内存中生成一个代表该类的java.lang.Class对象，作为方法区这个类的各种数据的访问入口 连接 验证 文件格式验证 元数据验证 是否有父类 是否继承了不允许被继承的类 保证不存在与《Java语言规范》定义相违 阅读全文
posted @ 2021-12-26 22:22 Yu\.W 阅读(54) 评论(0) 推荐(0)
设计模式
摘要：设计原则 单一职责原则 里氏替换原则 子类必须完全实现父类的方法。 子类实现自己的逻辑。 覆盖或实现父类的方法时输入参数可以被放大。 覆盖或实现父类的方法时输出结果可以被缩小。 依赖倒置原则 构造函数传递依赖对象。 Setter方法传递依赖对象。 接口声明依赖对象。 接口隔离原则 根据接口隔离原则拆 阅读全文
posted @ 2021-12-22 20:21 Yu\.W 阅读(60) 评论(0) 推荐(0)
yarn app启动过程
摘要：CapacityScheduler.addApplication() →RMAppImpl.handle() // .addTransition(RMAppState.SUBMITTED, RMAppState.ACCEPTED, RMAppEventType.APP_ACCEPTED, new S 阅读全文
posted @ 2021-12-17 17:25 Yu\.W 阅读(150) 评论(0) 推荐(0)
Hive QL模块SemanticAnalyzer分析
摘要：void analyzeInternal(ASTNode ast, PlannerContext plannerCtx) throws SemanticException { // 1. Generate Resolved Parse tree from syntax tree 生成解析树 LOG. 阅读全文
posted @ 2021-12-16 16:57 Yu\.W 阅读(421) 评论(0) 推荐(0)
Nodemanager Container启动过程
摘要：default_container_executor.sh #!/bin/bash /bin/bash "/tmp/hadoop-yarn/nm-local-dir/usercache/hive/appcache/application_1631589808308_0023/container_e2 阅读全文
posted @ 2021-12-10 11:44 Yu\.W 阅读(325) 评论(0) 推荐(0)
Zookeeper
摘要：LearnerHandler There will be an instance of this class created by the Leader for each learner. All communication with a learner is handled by this cla 阅读全文
posted @ 2021-12-10 11:32 Yu\.W 阅读(42) 评论(0) 推荐(0)
Tez分析
摘要：Tez相关类 AMNodeImpl .addTransition(AMNodeState.ACTIVE, AMNodeState.UNHEALTHY, AMNodeEventType.N_TURNED_UNHEALTHY, new NodeTurnedUnhealthyTransition()) N 阅读全文
posted @ 2021-12-10 11:27 Yu\.W 阅读(182) 评论(0) 推荐(0)
Hive QL模块执行计划优化分析
摘要：Transform 查询优化的基类，优化过程通过子类重写transform(ParseContext pctx)函数实现。 /** * Optimizer interface. All the rule-based optimizations implement this * interface. 阅读全文
posted @ 2021-12-10 01:35 Yu\.W 阅读(90) 评论(0) 推荐(0)
Hive QL模块执行过程分析
摘要：DriverState 本线程的Driver的状态机，同时包含可重入锁 /** * Represents the driver's state. Also has mechanism for locking for the time of state transitions. */ public c 阅读全文
posted @ 2021-12-10 00:17 Yu\.W 阅读(289) 评论(0) 推荐(0)
Jdk8 GC Tuning
摘要：https://docs.oracle.com/javase/8/docs/technotes/guides/vm/gctuning/toc.html jmap -heap 253784 Attaching to process ID 253784, please wait... Debugger 阅读全文
posted @ 2021-12-08 16:00 Yu\.W 阅读(101) 评论(0) 推荐(0)
Hadoop HA中EditLogTailer的作用
摘要：分析EditTailer在namenode日志同步中的作用 阅读全文
posted @ 2021-12-08 14:19 Yu\.W 阅读(359) 评论(0) 推荐(0)
Hdfs Namenode Namespace分析
摘要：Namenode上主要占用内存的实例 org.apache.hadoop.hdfs.server.namenode.INodeFile org.apache.hadoop.hdfs.server.blockmanagement.BlockInfoContiguous org.apache.hadoo 阅读全文
posted @ 2021-12-08 14:19 Yu\.W 阅读(139) 评论(0) 推荐(0)
Hadoop HA主备切换导致JournalNode epoch增加的函数调用流程
摘要：切换至active namenode执行日志 2021-12-07 08:08:19,784 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Stopping services started for standby state 2 阅读全文
posted @ 2021-12-08 14:18 Yu\.W 阅读(909) 评论(0) 推荐(0)
Hive QL模块TezSessionState分析
摘要：* 阅读全文
posted @ 2021-12-08 14:17 Yu\.W 阅读(91) 评论(0) 推荐(0)
Hdfs Active Namenode向JournalNode同步editlog流程
摘要：FSEditLog Active namenode进程上使用的类，达到条件后执行logSync()向journalnode同步最新的EditLog段 调用过程 FSEditLog.logSync(long mytxid) ->EditLogOutputStream.flush() ->EditLog 阅读全文
posted @ 2021-12-08 01:33 Yu\.W 阅读(314) 评论(0) 推荐(0)