随笔分类 -  hadoop

hadoop学习笔记肆--元数据管理机制
摘要：1、首先，认识几个名词 （1）、NameNode中读、写、以及DataNode映射等信息叫做“元数据” ，NameNode元数据存放位置有、内存、fsimage、edits log三个位置。 （2）、edits log：记录当前最新的元数据。 （3）、元数据内存:实际在用的元数据。 （4）、fsim 阅读全文
posted @ 2018-12-23 21:01 步步丶惊云 阅读(864) 评论(1) 推荐(0)
hadoop学习笔记叁--简单应用
摘要：1、通过命令向HDFS传输文件 上传：./hadoop fs -put hdfs.cmd （本地文件名） hdfs://主机名称:9000/ hadoop fs -copyFromLocal ./hadoop-config.cmd（本地文件名） /user/（hadoop服务路径） 下载： ./ha 阅读全文
posted @ 2018-12-04 22:48 步步丶惊云 阅读(281) 评论(0) 推荐(0)
hadoop学习笔记贰 --HDFS及YARN的启动
摘要：1、初始化HDFS ：hadoop namenode -format 看到如下字样，说明初始化成功。 启动HDFS，start-dfs.sh 终于启动成功了，原来是core-site.xml 中配置fs.defaultFS值中所设置的hosts映射与IP对应不上，造成端口拒绝连接 启动namenod 阅读全文
posted @ 2018-12-02 17:24 步步丶惊云 阅读(321) 评论(0) 推荐(0)
hadoop学习笔记壹 --环境搭建及配置文件的修改
摘要：Hadoop生态和其他生态最大的不同之一就是“单一平台多种应用”的理念了。 hadoop能解决是什么问题： 1、HDFS :海量数据存储 MapReduce： 海量数据分析 YARN :资源管理调度 理解： 1、资源管理调度（YARN）通过海量数据分析（MapReduce）进行对海量数据（HDFS） 阅读全文
posted @ 2018-11-25 20:22 步步丶惊云 阅读(868) 评论(0) 推荐(1)