愿无违

摘要： package com.yw.hadoop273; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; import java... 阅读全文

摘要： Local模式运行MR流程 1.创建外部Job(mapreduce.Job),设置配置信息 2.通过jobsubmitter将job.xml + split等文件写入临时目录 3.通过jobSubmitter提交job给localJobRunner, 4.LocalJobRunner将外部Job 转 阅读全文

摘要： 节点的服役和退役(hdfs) 黑白名单的组合情况 include //dfs.includeexclude //dfs.hosts.include 白名单 黑名单 include exclude Interpretation No No 不能连接No Yes 不能连接Yes No 可以连接Yes Y 阅读全文

摘要： hadoop 分布式计算框架。 common // hdfs //存储 mapreduce //MR,编程模型. yarn //资源调度. 集群部署 1.standard alone/local nothing. 2.伪分布式 一台机器. NN //目录 DN //DataNode,block（12 阅读全文

摘要： 创建java 项目 hdfs dfs -chmod 777 /usr/local/hadoop/ 完成。。 阅读全文

摘要： 完全分布式 1.配置文件 [core-site.xml] hdfs 地址 fs.defaultFS=hdfs://s129:8020/ [hdfs-site.xml] 副本 replication=1 //伪分布 replication=3 //完全分布 [mapred-site.xml] yarn 阅读全文

摘要： 编写shell脚本就是解决批量处理 1. 在/usr/local/bin 创建脚本 并授权所有用户 chmod a+x xcall.sh xcall.sh 比如：删除/tmp/*所有文件 批量删除4台服务器的/tmp/*所有文件 xcall.sh rm -rf /tmp/* 2 rsync 远程同步 阅读全文

摘要： 克隆 克隆前,先将上面安装好并且设置好的系统关机 (1) 右键centos -->管理->克隆->下一步->下一步->完整克隆 ->克隆名称起名有意义点就行->位置尽量和虚拟机位置放在一起（建个文件夹） 克隆完毕 要是克隆多台 可以重复 (1)操作. 完成后,开启此系统 由于是克隆机器,所以需要修改 阅读全文

摘要： 搭建环境 https://www.cnblogs.com/YuanWeiBlogger/p/11456623.html 修改主机名 1./etc/hostname s129 2./etc/hosts 127.0.0.1 localhost 192.168.248.129 s129 192.168.2 阅读全文

摘要： 1.独立模式(standalone|local) nothing! 本地文件系统。 不需要启用单独进程。 2.pesudo(伪分布模式) 等同于完全分布式，只有一个节点。 SSH: //(Socket), //public + private /server : sshd ps -Af | grep 阅读全文