Loading

2021年11月2日
分布式文件系统架构
摘要： 分布式文件系统架构 FS (File System) 文件系统是基于硬盘上的一个文件管理的工具 我们用户操作文件系统可以和硬盘解耦 DFS (Distributed File System) 分布式文件系统 将数据存放到多台电脑上存储 分布式文件系统有很多 HDFS(Hadoop Distribut 阅读全文
posted @ 2021-11-02 20:07 heybazinga 阅读(607) 评论(0) 推荐(0)
Hadoop及其历史
摘要： Hadoop及其历史 Hadoop进化史 Hadoop最早起源于Nutch ​ Doug Cutting 2002年10月，Doug Cutting和Mike Cafarella创建了开源网页爬虫项目Nutch，Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着 阅读全文
posted @ 2021-11-02 10:17 heybazinga 阅读(1149) 评论(0) 推荐(0)
2021年11月1日
Zookeeper存储结构及基础使用
摘要： 储存结构 zookeeper是一个树状结构，维护一个小型的数据节点znode 数据以key-value的方式存在，目录是数据的key 所有的数据访问都必须以绝对路径的方式呈现 一个znode的格式[1] 首先查看下我们的'/根'目录下的情况， 我们的根目录下有zookeeper、sxt、bdp三个节 阅读全文
posted @ 2021-11-01 19:42 heybazinga 阅读(633) 评论(0) 推荐(0)
2021年10月31日
Zookeeper配置安装步骤
摘要： 1. 下载Zookeeper 下载zookeeper3.4.6,上传，解压到/opt 2. Zookeeper配置安装 1.进入zookeeper/conf,cp zoo_sample.cfg zoo.cfg ，修改zoo.cfg [root@BaseNode conf]# vim zoo.cfg 阅读全文
posted @ 2021-10-31 20:20 heybazinga 阅读(307) 评论(0) 推荐(0)
2021年10月29日
CAP原则和数据一致性
摘要： 恢复内容开始 CAP定义 CAP理论作为分布式系统的基础理论,它描述的是一个分布式系统有在以下三个特性[1]： 一致性（Consistency） 可用性（Availability） 分区容错性（Partition tolerance） （Particion tolerance）三者最多同时只能实现两 阅读全文
posted @ 2021-10-29 20:07 heybazinga 阅读(322) 评论(0) 推荐(0)
磁盘阵列学习笔记
摘要： 介绍 顾名思义 zookeeper 就是动物园管理员，他是用来管 hadoop（大象）、Hive(蜜蜂)、pig(小 猪)的管理员， Apache Hbase 和 Apache Solr 的分布式集群都用到了 zookeeper；Zookeeper: 是一个分布式的、开源的程序协调服务，是 hado 阅读全文
posted @ 2021-10-29 17:08 heybazinga 阅读(170) 评论(0) 推荐(0)