zdsssg

导航

2018年12月18日 #

HDFS-HA高可用

摘要： HDFS-HA工作机制 通过双NameNode消除单点故障 HDFS-HA工作要点 1.元数据管理方式需要改变 内存中各自保存一份元数据； Edits日志只有Active状态的NameNode节点可以做写操作； 两个NameNode都可以读取Edits； 共享的Edits放在一个共享存储中管理（qj 阅读全文

posted @ 2018-12-18 09:10 zdsssg 阅读(211) 评论(0) 推荐(0) 编辑

2018年12月17日 #

Hive(一)

摘要： 1. HIVE概念： Hive：由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序 1）Hive处理的数据存储在HDFS 2）Hive分析数 阅读全文

posted @ 2018-12-17 20:53 zdsssg 阅读(209) 评论(0) 推荐(0) 编辑

zookeeper原理与安装

摘要： Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。 1. Zookerper工作机制 2. Zookeeper工作特点 3. Zookeeper文件系统：znode不区分文件与文件夹 4. Zookeeper配置文件参数： tickTime =2000：通信心跳数， 阅读全文

posted @ 2018-12-17 20:19 zdsssg 阅读(268) 评论(0) 推荐(0) 编辑