会员
周边
新闻
博问
闪存
众包
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
ycyz
博客园
首页
新随笔
联系
订阅
管理
2019年11月10日
大数据(八)Hadoop YARN配置
摘要: 1、配置mapred-site.xml [root@node01 hadoop]# mv mapred-site.xml.template mapred-site.xml [root@node01 hadoop]# vi mapred-site.xml <property> <name>mapred
阅读全文
posted @ 2019-11-10 16:05 ycyz
阅读(1937)
评论(0)
推荐(0)
2019年11月4日
大数据(九)Hadoop Windows开发环境搭建
摘要: 1、解压Hadoop安装包、源码包 2、新建一个文件夹用于存放jar包 3、将hadoop-2.6.5\share\hadoop下的所有jar包拷贝到新建的文件夹中 4、配置环境变量,将Hadoop安装包解压路径配置到环境变量中 加入到PATH中 再配置一条HADOOP_USER_NAME 5、替换
阅读全文
posted @ 2019-11-04 20:36 ycyz
阅读(2114)
评论(0)
推荐(0)
2019年10月31日
大数据(七)Hadoop 高可用HA(Journal,ZooKeeper)
摘要: NN1 NN2 DN ZK ZKFC JNNNODE01 * * *NODE02 * * * * *NODE03 * * *NODE04 * * 1、首先让两个NameNode能互相免密钥,在前一部分中node01已经能免密登陆node02了,所以再让node02免密登陆自己和node01就行 [r
阅读全文
posted @ 2019-10-31 22:49 ycyz
阅读(388)
评论(0)
推荐(0)
2019年10月29日
大数据(六)Hadoop2.6.5 全分布式搭建
摘要: 首先需要准备四台Linux虚拟机,搭建步骤与伪分布式基本一致,同样部分不再详细描述。 1、四台均安装jdk,并配置环境变量 2、设置时间同步 3、分发ssh密钥,先确保每个节点都有.ssh目录,如果没有可以先登陆一下自己,后将主节点公钥分发到各个从节点 [root@node01 .ssh]# scp
阅读全文
posted @ 2019-10-29 21:23 ycyz
阅读(272)
评论(0)
推荐(0)
2019年10月27日
大数据(五)Hadoop2.6.5 伪分布式搭建
摘要: 1、安装jdk rpm -i jdk-8u231-linux-x64.rpm 2、配置java环境变量 vi /etc/profile export JAVA_HOME=/usr/java/jdk1.8.0_231-amd64 PATH=$PATH:$JAVA_HOME/bin source /et
阅读全文
posted @ 2019-10-27 15:34 ycyz
阅读(296)
评论(0)
推荐(0)
2019年10月17日
大数据 负载均衡高可用 keepalived(扩展)
摘要: 可以不用安装ipvsadm -lnc yum install keepalived 安装 service keepalived start 启动服务 tail /var/log/message 查看日志 man keepalived.conf 查看帮助手册 配置文件,编辑之前,需要备份 cp –a
阅读全文
posted @ 2019-10-17 20:47 ycyz
阅读(233)
评论(0)
推荐(0)
2019年10月16日
大数据 负载均衡LVS 配置(扩展)
摘要: 1、准备3台虚拟机2、先配置3台虚拟机的网络: eth0,配置在一个网段 DIP,RIP在一个网段3、配置lvs的VIP ifconfig eth0:0 192.168.9.100/24 echo “1” > /proc/sys/net/ipv4/ip_forward (转发数据包) 4、调整RS的
阅读全文
posted @ 2019-10-16 17:43 ycyz
阅读(371)
评论(0)
推荐(0)
2019年9月13日
大数据 Linux 搭建(四)
摘要: 四台克隆机均进行相同操作 1.配置ip地址 2.配置主机名 3.配置hosts 4.关机,拍摄快照备用
阅读全文
posted @ 2019-09-13 22:09 ycyz
阅读(182)
评论(0)
推荐(0)
大数据 Linux 搭建(三)
摘要: 1.打开VMware 编辑>虚拟网络编辑器,查看VMnet8虚拟网卡的子网、子网掩码、以及网关 2.在Linux中配置网络 3.删除 4.关闭防火墙自启 5.关闭selinux 6.关机,并拍摄快照,使用此快照克隆四台虚拟机
阅读全文
posted @ 2019-09-13 16:32 ycyz
阅读(415)
评论(0)
推荐(0)
大数据 Linux 搭建(二)
摘要: 1.在VMware 中编辑刚创建的虚拟机配置,选择使用ISO映像文件,选择 Linux 的镜像。我这里选择使用的是CentOS 6.9 minimal 2.开启虚拟机,以下没提到的设置均默认或根据自身情况选择 3.在此界面选择Create Custom Layout 4.Create->Create
阅读全文
posted @ 2019-09-13 16:05 ycyz
阅读(224)
评论(0)
推荐(0)
下一页
公告