随笔分类 -  hadoop

摘要:HA高可用配置 一、简述 二、硬件资源 三、配置细节 <property> <name>dfs.ha.fencing.methods</name> <value> sshfence shell(/bin/true) </value> </property> 四、部署细节 五、HA管理 阅读全文
posted @ 2019-12-26 16:34 pinghengxing 阅读(221) 评论(0) 推荐(0)
摘要:一、Hadoop机架感知策略副本节点的选择(机架感知) 1、默认第一个副本在client所处的节点上。如果客户端在集群外,随机选一个。第二个副本在和第一个副本不同机架的随机节点上。第三个副本和第二个副本相同机架,节点随机。2、hadoop2.7.2策略第一个副本在client所处的节点上。如果客户端 阅读全文
posted @ 2019-12-26 00:23 pinghengxing 阅读(430) 评论(0) 推荐(0)
摘要:Windows平台安装配置Hadoop 步骤: 1. JDK安装2. 下载hadoop2.5.2.tar.gz,自行去百度下载。 3. 下载hadooponwindows-master.zip【**能支持在windows运行hadoop的工具】https://github.com/steveloug 阅读全文
posted @ 2019-12-20 00:50 pinghengxing 阅读(1557) 评论(0) 推荐(0)
摘要:hadoop配置 一、首先写两个实用的小脚本 1、执行命令 :xcall.sh ls 则可以在四台机器上循环执行命令 ls(首先需要支持ssh免密登陆) 2、可以使用命令xscp.sh /soft/download/ 把download下的所有文件传到其他三台服务器对应目录下(首先需要支持ssh免密 阅读全文
posted @ 2019-12-16 17:55 pinghengxing 阅读(296) 评论(0) 推荐(0)
摘要:hadoop安装配置 大数据的四个V特征 1.volume //体量大 2.variety //样式多. 3.velocity //速度快 4.valueless //价值密度低 hadoop四个模块 1.common 2.hdfs 3.hadoop yarn 4.hadooop mapreduce 阅读全文
posted @ 2019-12-12 13:47 pinghengxing 阅读(326) 评论(0) 推荐(0)