随笔分类 -  大数据

上一页 1 2 3
MapReduce分布式编程框架
摘要:一、MapReduce分布式编程框架及yarn集群搭建 二、WordCount代码实现 1.Mapper类 2.Reducer类 3.Driver类 4.输入的文件words.txt 5.输出的文件part-r-00000 阅读全文
posted @ 2018-10-25 22:39 阅读(855) 评论(0) 推荐(0)
HDFS基本工作机制
摘要: 阅读全文
posted @ 2018-10-25 22:07 阅读(247) 评论(0) 推荐(0)
HDFS 手写mapreduce单词计数框架
摘要:一、数据处理类 二、接口类 三、数据传输类 四、单词计数类 五、配置文件job.properties 阅读全文
posted @ 2018-10-18 23:54 阅读(683) 评论(0) 推荐(0)
模拟hadoop-rpc通信
摘要:一、RPC服务类 二、自定义遵循的协议类 三、自定义协议的实现类 四、获取元数据信息(客户端) 阅读全文
posted @ 2018-10-18 22:06 阅读(288) 评论(0) 推荐(0)
HDFS基本命令行操作及上传文件的简单API
摘要:一、HDFS基本命令行操作: 二、上传文件的简单API: 阅读全文
posted @ 2018-10-13 18:11 阅读(23040) 评论(0) 推荐(0)
HDFS集群启动start-dfs.sh报错
摘要:是因为hadoop不能找到自己设置的JAVA_HOME 需要在hadoop-env.sh 文件中增加# export JAVA_HOME=你的java路径 export JAVA_HOME=/root/hd/jdk1.8.0_121 阅读全文
posted @ 2018-09-28 00:17 阅读(3943) 评论(0) 推荐(0)
HDFS集群安装
摘要:DFS集群安装: 1.准备工作 (1)虚拟机(电脑8G 磁盘500GB) (2)3台linux系统(1台namenode 2台datanode) 2.安装HDFS(软件) (1)关闭防火墙 firewall-cmd --state 查看防火墙状态 systemctl stop firewalld.service 关闭防火墙 systemctl disable firewalld.service ... 阅读全文
posted @ 2018-09-28 00:05 阅读(303) 评论(0) 推荐(0)
Centos7下实现免密码登录
摘要:一、生成密钥 生成之后会在用户的根目录生成一个 “.ssh”的文件夹,进入“.ssh”会生成以下几个文件 authorized_keys:存放远程免密登录的公钥,主要通过这个文件记录多台机器的公钥 id_rsa : 生成的私钥文件 id_rsa.pub : 生成的公钥文件 know_hosts : 阅读全文
posted @ 2018-09-27 23:25 阅读(9370) 评论(0) 推荐(0)
centos7修改hostname和hosts
摘要:1、修改/etc/hostname vi /etc/hostname 打开之后的内容是: localhost.localdomain 把它修改成想要的名字就可以,比如:master 保存退出 2、修改/etc/hosts文件 vi /etc/hosts 打开之后的内容是: 127.0.0.1 loc 阅读全文
posted @ 2018-09-27 23:06 阅读(27495) 评论(1) 推荐(0)
centos7虚拟机克隆
摘要:第一步:克隆 打开VMware,确认已经完成安装配置的centos7虚拟机在关闭状态。 右键点击虚拟机,选择“管理”-“克隆” 原始虚拟机名称为“master”,IP地址为“192.168.80.10” 然后下一步 在下一步 选择第二个“创建完整克隆”,后下一步 给自己的克隆机命名、选择位置后点击“ 阅读全文
posted @ 2018-09-27 22:47 阅读(3729) 评论(0) 推荐(0)

上一页 1 2 3