随笔分类 -  Hdfs

HDFS上传下载API
摘要：HDFS上传脚本实例： HDFS下载实例： 阅读全文
posted @ 2019-01-15 20:44 零点社区 阅读(717) 评论(0) 推荐(0)
HDFS2.X新特性：HA和Federation联盟
摘要：一、HDFS的新特性HA (一)HDFS的HA机制 Hadoop 2.2.0 版本之前，NameNode是HDFS集群的单点故障点，每一个集群只有一个NameNode ，如果这个机器或者进程不可用，整个集群就无法使用，直到重启NameNode或者新重启一个NameNode节点 。 影响HDFS集群不 阅读全文
posted @ 2019-01-06 19:40 零点社区 阅读(587) 评论(0) 推荐(0)
HDFS2.X架构及工作原理
摘要：1 HDFS简介 1.1 Hadoop 2.0介绍 Hadoop是Apache的一个分布式系统基础架构，可以为海量数据提供存储和计算。Hadoop 2.0即第二代Hadoop系统，其框架最核心的设计是HDFS、MapReduce和YARN。其中，HDFS为海量数据提供存储，MapReduce用于分布 阅读全文
posted @ 2019-01-06 19:31 零点社区 阅读(1115) 评论(0) 推荐(1)
浅析Secondary NameNode与namenode
摘要：前言 最近刚接触Hadoop, 一直没有弄明白NameNode和Secondary NameNode的区别和关系。很多人都认为，Secondary NameNode是NameNode的备份，是为了防止NameNode的单点失败的，直到读了这篇文章Secondary Namenode - What i 阅读全文
posted @ 2019-01-03 12:31 零点社区 阅读(638) 评论(0) 推荐(0)
HDFS基本命令行操作与简单API实用
摘要：1.hdfs的客户端 1）.网页形式->测试用 http://192.168.37.129:50070/dfshealth.html#tab-overview 2）.命令行形式->测试用 3）.企业级API 2.命令行形式 1）查看帮助 hdfs dfs -help 2）查看当前目录信息 hdfs 阅读全文
posted @ 2018-12-29 17:41 零点社区 阅读(355) 评论(0) 推荐(0)
HDFS集群安装部署
摘要：1-> 集群的准备工作 1）关闭防火墙(进行远程连接) firewall-cmd --state -- 显示centOS7防火墙状态 systemctl stop firewalld -- 关闭防火墙 systemctl disable firewalld -- 禁止开机自启动 2）永久修改设置主机 阅读全文
posted @ 2018-12-28 20:53 零点社区 阅读(217) 评论(0) 推荐(0)