摘要: map->shuffle->reduce map(k1,v1) >(k2,v2) reduce(k2,List<v2>) >(k2,v3) 传输类型:org.apache.hadoop.io 访问HDFS文件系统 1.java.net.URL 的setURLStreamHandlerFactory( 阅读全文
posted @ 2019-04-27 22:12 MasterSword 阅读(158) 评论(0) 推荐(0) 编辑
摘要: 仍然以docker模拟多台服务器,创建6个节点 172.17.0.4:6370,172.17.0.4:6371 172.17.0.5:6370,172.17.0.5:6371 172.17.0.6:6370,172.17.0.6:6371 在每个服务器上创建目录和配置文件,注意更改成节点对应的ip和 阅读全文
posted @ 2018-10-20 22:24 MasterSword 阅读(130) 评论(0) 推荐(0) 编辑
摘要: mongodb的分片功能是建立在副本集之上的,所以首先我们尝试着配置副本集。 docker启动3个已经安装好mongo的镜像 查看容器ip 3个容器的ip为 172.17.0.4,172.17.0.5,172.17.0.6 进入容器,分别建立mongodb的数据和日志文件夹,编辑配置文件 dbpat 阅读全文
posted @ 2018-10-13 14:02 MasterSword 阅读(556) 评论(0) 推荐(0) 编辑
摘要: 修改keepalived.conf 编辑nginxcheck.sh 启动master容器 修改nginx主页 启动slave启动 修改nginx主页 在实体主机上进行测试 关闭master容器的keepalived 阅读全文
posted @ 2018-09-09 22:05 MasterSword 阅读(156) 评论(0) 推荐(0) 编辑
摘要: 通过yum 安装和配置HAProxy # yum install -y haproxy #安装haproxy# rpm -qa | grep haproxy #查看安装的haproxy信息# rpm -ql haproxy-1.5.18-7.el7.x86_64 #查看配置文件位置# vim /et 阅读全文
posted @ 2018-08-21 23:53 MasterSword 阅读(155) 评论(0) 推荐(0) 编辑
摘要: mysql的主从配置沿用上一篇博客的配置:https://www.cnblogs.com/MasterSword/p/9434169.html mycat下载地址:http://www.mycat.io/ 试验版本:Mycat-server-1.6-release <!-- mycat的默认用户配置 阅读全文
posted @ 2018-08-15 22:49 MasterSword 阅读(308) 评论(0) 推荐(0) 编辑
摘要: 1.安装和配置Docker 服务器版本阿里云CentOS7.4 docker版本18.06.0-ce docker安装步骤https://docs.docker.com/install/linux/docker-ce/centos/#install-docker-ce-1 下载mysql镜像 启动两 阅读全文
posted @ 2018-08-11 22:54 MasterSword 阅读(345) 评论(0) 推荐(0) 编辑