随笔分类 - 集群
摘要：经常有初学者在博客和QQ问我，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高。如果自己很迷茫，为了这些原因想往大数据方向发展，也可以，那么我就想问一下，你的专业是什么，对于计算机/软件，你的兴趣是什么？是计算机专业，对操作系统、硬件、网络、服务器感兴趣？
阅读全文
摘要：LVS+keepalived负载均衡实战 这里非常感谢田逸老师的文档，在我学习lvs的时候给了我很大的帮助！ 一、为什么要使 用负载均衡技术？ 1、系统高可用性 2、 系统可扩展性 3、 负载均衡能力 LVS+keepalived能很好的实现以上的要求，LVS提 供负载均衡，keepalived提供
阅读全文
摘要：Linux安装ftp组件 1 安装vsftpd组件 安装完后，有/etc/vsftpd/vsftpd.conf文件，是vsftp的配置文件。 [python] view plain copy [root@bogon ~]# yum -y install vsftpd [python] view pl
阅读全文
摘要：一、怎么防止多用户同一时间抢购同一商品，防止高并发同时下单同一商品 最近在做抢购系统，但头疼的是，在多用户高并发的情况下经常会库存出现问题。排查到，在同一时间内多用户同时下单导致查询和插入不同步了，而查询中跟插入又有时间差而在高并发的情况下导致库存问题(我的项目大概是这样，首先 for update
阅读全文
摘要：环境描述Redis Master：192.168.1.100 6379(Ubuntu系统)Redis Slave1：192.168.1.101 6380(Ubuntu系统)Redis Slave2：192.168.1.102 6381(Ubuntu系统) 安装redis分别在192.168.1.10
阅读全文
摘要：1 去重查询 select distinct id from user_info where xxxxxx 2 group by 分组查询中排序 group by本身没有排序功能，这可能是mysql不完美的地方，但是我们可以这样做 select attack_id, time from (selec
阅读全文
摘要：使用yum安装CDH Hadoop集群 2013.04.06 Update: 2014.07.21 添加 lzo 的安装 2014.05.20 修改cdh4为cdh5进行安装。 2014.10.22 添加安装 cdh5.2 注意事项。 1、cdh5.2 发布了，其中 YARN 的一些配置参数做了修改
阅读全文
摘要：一 、centos集群环境配置 1.创建一个namenode节点，5个datanode节点 主机名 IP namenodezsw 192.168.129.158 datanode1zsw 192.168.129.159 datanode2zsw 192.168.129.160 datanode3zs
阅读全文
摘要：一、系统环境准备： 1、keepalive主服务器 主机名称：dir 系统环境：CentOS release 6.5 (Final) 外网ip：192.168.1.203(网络模式桥接) vip：192.168.1.250/32(网络模式eht0) # echo 1 > /proc/sys/net/
阅读全文
摘要：总体思路，准备主从服务器，配置主服务器可以无密码SSH登录从服务器，解压安装JDK，解压安装Hadoop，配置hdfs、mapreduce等主从关系。1、环境，3台CentOS7，64位，Hadoop2.7需要64位Linux，CentOS7 Minimal的ISO文件只有600M，操作系统十几分钟
阅读全文
摘要：查了一些资料，看了一些别人写的文档，总结如下，实现nginx session的共享 PHP服务器有多台，用nginx做负载均衡，这样同一个IP访问同一个页面会被分配到不同的服务器上，如果session不同步的话，就会出现很多问题，比如说最常见的登录状态，下面提供了几种方式来解决session共享的问
阅读全文
摘要：前一篇文章介绍了Zookeeper的单机模式的安装及应用，但是Zookeeper是为了解决分布式应用场景的，所以通常都会运行在集群模式下。今天由于手头机器不足，所以今天打算在一台机器上部署三个Zookeeper服务来组成一个Zookeeper集群。这里解压Zookeeper的安装包到/opt目录下，
阅读全文
摘要：ZooKeeper 安装部署及hello world 先给一堆学习文档，方便以后查看官网文档地址大全：OverView(概述)http://zookeeper.apache.org/doc/r3.4.6/zookeeperOver.htmlGetting Started(开始入门)http://zo
阅读全文
摘要：近期开发的系统中使用MySQL作为数据库，由于数据涉及到Money，所以不得不慎重。同时，用户对最大访问量也提出了要求。为了避免Mysql成为性能瓶颈并具备很好的容错能力，特此实现主从热备和读写分离。在此简做纪要,以备日后所用！ 一、配置主从 条件：两台PC，IP分别为192.168.168.253
阅读全文
摘要：版本：mycat1.0 只需要读写分离的功能，分库分表的都不需要。 涉及到的配置文件： 1.conf/server.xml 主要配置的是mycat的用户名和密码，mycat的用户名和密码和mysql的用户名密码是分开的，应用连接mycat就用这个用户名和密码。 <?xml version="1.0"
阅读全文
摘要：在此记录下Nginx服务器nginx.conf的配置文件说明, 部分注释收集与网络. #运行用户user www-data; #启动进程,通常设置成和cpu的数量相等worker_processes 1; #全局错误日志及PID文件error_log /var/log/nginx/error.log
阅读全文
摘要：如果读者以前做过web开发的话，就应该知道如何去搭建一个web服务器来跑你的web站点，在windows下你可能会选择去用IIS，十分的快捷，在linux下，你可能首先会想到apache，“一哥”（ W3Techs网站数据的排名）啦 今天小编要介绍后起之秀nginx来实现web服务器。小编在前面的博
阅读全文
摘要：通过本教程操作，请确认您能使用linux本机。如果您使用的是ssh远程，而又不能直接操作本机，那么建议您慎重，慎重，再慎重！通过iptables我们可以为我们的Linux服务器配置有动态的防火墙，能够指定并记住为发送或接收信息包所建立的连接的状态，是一套用来设置、维护和检查Linux内核的IP包过滤
阅读全文
摘要：前几天微魔部落再次遭受到个别别有用心的攻击者的攻击，顺便给自己充个电，复习了一下linux下常见的防火墙iptables的一些内容，但是无奈网上的很多教程都较为繁琐，本着简明化学习的目的，微魔为大家剔除了许多冗余的内容，提取出尽量多的精华部分成文，和大家共同学习，本文涉及的内容包括如下 Linux防
阅读全文
摘要：原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://freeloda.blog.51cto.com/2033581/1288553 大纲 一、前言 二、环境准备 三、安装与配置Nginx 四、Nginx之反向代理 五、Nginx之负载
阅读全文