随笔分类 -  hadoop

Hadoop第一阶段总结
摘要：来自为知笔记(Wiz) 阅读全文
posted @ 2018-05-24 23:45 火丶日月明 阅读(124) 评论(0) 推荐(0)
HDFS体系结构
摘要：HDFS体系结构 master/slave架构 文件切分成块（128） namenode是主节点 DataNode在本地文件系统存储文件块数据，以及块数据的校验 NameNode Namenode是一个中心服务器，单一节点，负责管理文件系统的名字空间(namespace)以及客户端对文件的访问文件操 阅读全文
posted @ 2018-05-21 14:27 火丶日月明 阅读(254) 评论(0) 推荐(0)
HDFS核心设计
摘要：一、HDFS核心设计 数据块（block） 数据块是HDFS上最基本的存储单位 HDFS块默认大小为128M 对块进行抽象会带来的好处 一个小文件的大小可以大于网络中任意一个磁盘的容量 使用块抽象而不是文件可以简化存储子系统 块非常适合用于数据备份进而提供数据容错能力和可用性 数据块复制 HDFS为 阅读全文
posted @ 2018-05-21 10:47 火丶日月明 阅读(176) 评论(0) 推荐(0)
1）HDFS分布式文件系统 2）HDFS核心设计 3 ）HDFS体系结构
摘要：一、HDFS简介 1.HDFS：Hadoop distributed file system 一个分布式文件系统 基于流数据模式访问和处理超大文件的需要而开发 适合应用在大规模数据集上 2. 优点 处理超大文件 能用来存储管理PB级的数据 处理非结构化数据 流式的访问数据 一次写入、多次读写 运行于 阅读全文
posted @ 2018-05-21 10:07 火丶日月明 阅读(182) 评论(0) 推荐(0)
大数据的特征
摘要：一、大数据特征 1. 数据体量巨大 2. 数据类型多样（文本，图像，视频，音频） 3. 价值密度低，商业价值高 4.速度要求快，数据输出输入的速度 二、大数据之核心 1.数据的存储 2. 数据的计算（处理） 三、Hadoop 1. Apache开源软件基金会开发的 2. 运行于大规模普通服务器上的 阅读全文
posted @ 2018-05-21 09:13 火丶日月明 阅读(2526) 评论(0) 推荐(0)
zookeeper原理
摘要：zookeeper原理PDF 阅读全文
posted @ 2018-05-21 08:55 火丶日月明 阅读(91) 评论(0) 推荐(0)
Hadoop安装手册
摘要：Hadoop的安装手册 阅读全文
posted @ 2018-05-21 02:23 火丶日月明 阅读(116) 评论(0) 推荐(0)