摘要：基本概念 几个点：集群角色、会话、数据(子)节点（临时/持久）与版本（v cv av）、Watcher事件注册与通知、ACL权限控制 Ques:什么是zkp？ 一个分布式应用协调程序(CP，选举过程中不A)，管理集群，根据节点反馈决定下一步操作。读：可被任意机器处理（会返回zxid），并可在此机器注 阅读全文

摘要：preliminary： Executor:worker节点上的一个进程，通过线程池，并行运行tasks，task来了，找空的线程做。一个application有多个executor 1.消息通信 启动时消息通信 worker向master发送注册消息，master处理完毕后发送注册成功/失败信息， 阅读全文

摘要：ACID是什么？四种隔离级别？默认隔离级别是？ CAP：一致性 可用性 分区容错性 BASE理论：基本可用 弱状态 最终一致性 （PS：Undo Redo不提交，也就意味数据未写到磁盘只是写到了事务日志内且资源一直被加锁） 2PC？（提交事务请求{可否事务？}；执行事务提交{有No全部rollbac 阅读全文

摘要：1.视图 视图保存一个查询，像通过一个表一样，对这个查询得到的结果进行操作（逻辑结构不物化），达到了降低查询复杂度的目的 如下是一个视图的构建，之后就可以像表一样操作这个视图了 create view xxx_xxx as select .... from ... where time=...; 常 阅读全文

摘要：问题：通过MR跑批处理任务，Hadoop 1 单点故障（块跑完了，挂了），集群资源利用率不高，需要扩容等操作。 Hadoop 2.0 Yarn推出。 Yarn架构： Resource Manager是一个全局资源管理器，NodeManager每个节点的任务资源管理，AppMaster是每个作业提交的 阅读全文