dousil - 博客园

2020年1月14日

摘要：启动的命令：sbinhadoop-daemon.sh start secondarynamenode 镜像文件所在的位置：工作目录/name/curent/fsimage 操作日志操作日志：目录/name/edits_inprogress_000000000001 工作原理图：阅读全文

posted @ 2020-01-14 14:27 dousil 阅读(134) 评论(0) 推荐(0)

HDFS工作流程

摘要： HDFS 读写的入口是哪个节点：namenode 。 HDFS 数据读的流程判断成功标准：第一台节点成功，认为所有的都成 HDFS 写数据的流程 du 阅读全文

posted @ 2020-01-14 14:01 dousil 阅读(255) 评论(0) 推荐(0)

HADOOP 安全模式

摘要： hadoop 安全模式时间：每次在启动namenode的时候，都会进入安全模式。手动启动安全模式工作：检查块的个数。是否丢失。完成自动退出。特性：我们没有感觉。命令：查看：bin/hadoop dfsadmin -safemode get 进入： bin/hadoop dfsadmin 阅读全文

posted @ 2020-01-14 11:29 dousil 阅读(197) 评论(0) 推荐(0)

Hadoop环境的搭建

摘要： Hadoop环境的搭建 1. 本地模式开发人员调试环境，他不会按HDFS存数据，会将文件存储到本地的文件系统中。 2. 伪分布式模式开发调试环境和学习环境需要部署的是两个文件 core-site.html中添加 <configuration> <property> <!--指定Hadoop的阅读全文

posted @ 2020-01-14 11:15 dousil 阅读(134) 评论(0) 推荐(0)

2020年1月11日

初识Hadoop

摘要： Hadoop 发展历史 Apache Nutch 网页抓取互据，数据量达到瓶颈， Google 发表论文 Google FileSystem Apache 根据论文解决问题 Google 发表论文MapReduce Apache 根据论文，写了一套Mapreduce系统，应用到自己的项目 Apach 阅读全文

posted @ 2020-01-11 16:46 dousil 阅读(93) 评论(0) 推荐(0)

大数据简介

摘要：离线计算计算的速度比较慢计算的数据量大需要的技术Hadoop、HIve(离线分析，他的本质就是hadoop)、sqoop（协作框架） Hbase（数据库，非关系型数据库，分布式数据库）Flume(写作框架，收集日志数据) CM (图形化管理器，监控集群资源状态，部署集群。) 实时计算计算的数阅读全文

posted @ 2020-01-11 16:25 dousil 阅读(142) 评论(0) 推荐(0)

HDFS 存放策略

摘要：数据块每个磁盘都有默认数据块大小，这个数据块就是磁盘存取得最小得单位。磁盘块得大小一般为512字节数据块得大小小于512字节，他得空间也会被占用。 HDSF 数据块 HDFS也有数据块得大小，大小以前为64M，当前得大小为128M 。如果该块没有存满，不会占用整个数据块得空间。 HDFS 块阅读全文

posted @ 2020-01-11 15:48 dousil 阅读(706) 评论(0) 推荐(0)

公告