随笔分类 -  Hadoop

摘要：1、 流程说明 在单机测试wordcount没问题后，开始配置集群模式 说明: hadoop有几个功能 ​ ① hdfs存 ​ NameNode ​ SecondNameNode ​ DataNode ​ ②yarn资源调度 ​ ResourceManager ​ NodeManager ​ ③ma 阅读全文

摘要：1、 流程说明 本文参考尚硅谷大数据教程加以整理 1、win10, 安装好xshell/xftp/vmware，搭建虚拟机，克隆3台 2、 配置网络，防火墙，host,hostname ， 创建新用户，配置ssh免密 3、上传jdk/hadoop安装包，解压，配置环境变量，wordcount测试 注 阅读全文

摘要：1 #!/bin/bash 2 3 # 创建必备文件夹 4 if [ ! -e /home/soft/ ];then mkdir -p /home/soft/;fi 5 6 # 修改主机映射 7 sethosts(){ 8 names=() 9 ips=() 10 x=0 11 while [ 1 阅读全文