MapReduce分布式编程框架
摘要:一、MapReduce分布式编程框架及yarn集群搭建 二、WordCount代码实现 1.Mapper类 2.Reducer类 3.Driver类 4.输入的文件words.txt 5.输出的文件part-r-00000
阅读全文
posted @
2018-10-25 22:39
末
阅读(855)
推荐(0)
HDFS 手写mapreduce单词计数框架
摘要:一、数据处理类 二、接口类 三、数据传输类 四、单词计数类 五、配置文件job.properties
阅读全文
posted @
2018-10-18 23:54
末
阅读(683)
推荐(0)
模拟hadoop-rpc通信
摘要:一、RPC服务类 二、自定义遵循的协议类 三、自定义协议的实现类 四、获取元数据信息(客户端)
阅读全文
posted @
2018-10-18 22:06
末
阅读(288)
推荐(0)
HDFS基本命令行操作及上传文件的简单API
摘要:一、HDFS基本命令行操作: 二、上传文件的简单API:
阅读全文
posted @
2018-10-13 18:11
末
阅读(23040)
推荐(0)
HDFS集群启动start-dfs.sh报错
摘要:是因为hadoop不能找到自己设置的JAVA_HOME 需要在hadoop-env.sh 文件中增加# export JAVA_HOME=你的java路径 export JAVA_HOME=/root/hd/jdk1.8.0_121
阅读全文
posted @
2018-09-28 00:17
末
阅读(3943)
推荐(0)
HDFS集群安装
摘要:DFS集群安装: 1.准备工作 (1)虚拟机(电脑8G 磁盘500GB) (2)3台linux系统(1台namenode 2台datanode) 2.安装HDFS(软件) (1)关闭防火墙 firewall-cmd --state 查看防火墙状态 systemctl stop firewalld.service 关闭防火墙 systemctl disable firewalld.service ...
阅读全文
posted @
2018-09-28 00:05
末
阅读(303)
推荐(0)
Centos7下实现免密码登录
摘要:一、生成密钥 生成之后会在用户的根目录生成一个 “.ssh”的文件夹,进入“.ssh”会生成以下几个文件 authorized_keys:存放远程免密登录的公钥,主要通过这个文件记录多台机器的公钥 id_rsa : 生成的私钥文件 id_rsa.pub : 生成的公钥文件 know_hosts :
阅读全文
posted @
2018-09-27 23:25
末
阅读(9370)
推荐(0)
centos7修改hostname和hosts
摘要:1、修改/etc/hostname vi /etc/hostname 打开之后的内容是: localhost.localdomain 把它修改成想要的名字就可以,比如:master 保存退出 2、修改/etc/hosts文件 vi /etc/hosts 打开之后的内容是: 127.0.0.1 loc
阅读全文
posted @
2018-09-27 23:06
末
阅读(27495)
推荐(0)
centos7虚拟机克隆
摘要:第一步:克隆 打开VMware,确认已经完成安装配置的centos7虚拟机在关闭状态。 右键点击虚拟机,选择“管理”-“克隆” 原始虚拟机名称为“master”,IP地址为“192.168.80.10” 然后下一步 在下一步 选择第二个“创建完整克隆”,后下一步 给自己的克隆机命名、选择位置后点击“
阅读全文
posted @
2018-09-27 22:47
末
阅读(3729)
推荐(0)