随笔分类 -  大数据开发-hadoop

上一页 1 2
Hadoop（8）datanode详解
摘要：datanode详解 datanode工作机制 1）一个数据块在datanode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据。元数据包括数据块的长度，块数据的校验和，以及时间戳。 2）DataNode启动后向namenode注册，通过后，周期性（1小时）的向namenode上 阅读全文
posted @ 2020-08-25 23:46 Whatever_It_Takes 阅读(886) 评论(0) 推荐(1)
Hadoop（7）NameNode和SecondaryNameNode的工作机制
摘要：🌈NameNode和SecondaryNameNode的工作机制 如何快速检索元数据？ NameNode主要负责集群当中的元数据信息管理，而且元数据信息需要经常随机访问，因为元数据信息必须高效的检索，那么如何保证namenode快速检索呢？？元数据信息保存在哪里能够快速检索呢？？如何保证元数据的持 阅读全文
posted @ 2020-08-25 23:45 Whatever_It_Takes 阅读(914) 评论(0) 推荐(1)
Hadoop（6）hdfs的写入流程和读取流程 （重点！！！）
摘要：🌈hdfs写入流程（面试重点） 一个文件上传到hdfs文件系统的简略过程 1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。 2）NameNode返回是否可以上传。 3）客户端请求第一个 Block 阅读全文
posted @ 2020-08-25 23:44 Whatever_It_Takes 阅读(1692) 评论(0) 推荐(1)
Hadoop（5）hdfs的Java Api开发
摘要：hdfs的JavaAPI开发 windows安装hadoop 解压CDH版本的在windows系统上运行的Hadoop安装包，解压路径不能有中文或者空格 在windows当中配置hadoop环境变量 将hadoop.dll文件拷贝到C:\Windows\System32 创建Maven工程并导入ja 阅读全文
posted @ 2020-08-25 23:43 Whatever_It_Takes 阅读(406) 评论(0) 推荐(0)
Hadoop（3）hdfs功能详解、hdfs架构剖析、hdfs优缺点
摘要：hdfs功能详解 `HDFS（hadoop distributed filesystem)由四部分组成，HDFS Client、NameNode、DataNode和Secondary NameNode。HDFS是一个主/从（Mater/Slave）体系结构，HDFS集群拥有一个NameNode和一些 阅读全文
posted @ 2020-08-25 23:41 Whatever_It_Takes 阅读(1489) 评论(0) 推荐(0)
Hadoop（2）hadoop发展起源、版本、运行模式和架构模块
摘要：Hadoop发展起源 Hadoop最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。 2003年、2004年谷歌发表的两篇论文为该问题提供了可行的解决方案。 阅读全文
posted @ 2020-08-25 23:40 Whatever_It_Takes 阅读(552) 评论(0) 推荐(0)
Hadoop (1）虚拟机搭建hadoop集群
摘要：hadoop环境搭建 安装虚拟机 下载镜像文件 下载centOS7镜像文件 新建文件夹 新建用于放置虚拟机上不同系统的文件，方便管理。 新建node01节点 在windows某个盘上创建一个文件夹，用于放置node01节点虚拟机文件。命名可以为：大数据开发环境 开启node01节点 分区选择自动分区 阅读全文
posted @ 2020-08-25 23:39 Whatever_It_Takes 阅读(467) 评论(0) 推荐(0)

上一页 1 2