摘要: 主要内容:hdfs的核心工作原理:namenode元数据管理机制,checkpoint机制;数据上传下载流程 1、hdfs的核心工作原理 1.1、namenode元数据管理要点 1、什么是元数据? hdfs的目录结构及每一个文件的块信息(块的id,块的副本数量,块的存放位置<datanode>) 2 阅读全文
posted @ 2018-08-22 22:19 木子木泗 阅读(762) 评论(0) 推荐(0) 编辑
摘要: 主要内容:hdfs的整体运行机制,DATANODE存储文件块的观察,hdfs集群的搭建与配置,hdfs命令行客户端常见命令;业务系统中日志生成机制,HDFS的java客户端api基本使用。 1、什么是大数据 基本概念 《数据处理》 在互联网技术发展到现今阶段,大量日常、工作等事务产生的数据都已经信息 阅读全文
posted @ 2018-08-22 13:11 木子木泗 阅读(2674) 评论(0) 推荐(1) 编辑