摘要：
1.提前评估 生产操作前必须评估操作的后果，包括不限于以下性能风险检查项：实例级别（存在大表数据库DDL需要与DBA确认操作时间窗口）锁规模（存在锁升级和锁堆积风险时避免操作）并发数（并发活跃线程数>200,并发连接数>3500时禁止操作）阻塞状态（存在大量阻塞时禁止操作）无大事务（存在runnin 阅读全文
摘要：
参考资料 1.rabbmitMQ集群搭建http://my.oschina.net/guol/blog/186445http://blog.ftofficer.com/2010/03/translation-rabbitmq-python-rabbits-and-warrens/http://www 阅读全文
摘要：
(6)下载storm包放入home文件夹中，这里我用的版本是storm-0.8.2.zip添加权限chmod +xstorm-0.8.2.zip进行文件的解压unzip storm-0.8.1.zip（如果没有安装unzip，可以使用yum install unzip进行安装）然后把解压的文件复制到... 阅读全文
摘要：
2.ZeroMQ安装把安装本件zeromq-2.1.7.tar.gz拷贝到home文件路径下，给文件加入权限chmod +x /home/zeromq-2.1.7.tar.gz解压文件tar -xzf /home/zeromq-2.1.7.tar.gz进入文件路径下进行安装cd /home/zero... 阅读全文
摘要：
storm集群的安装我用了三台的虚拟机，ip分别是192.168.9.202和203和204，其中主机是202，两台分机的ip是203和204，之前两台机器的搭建已经完成，这次安装的环境是在204机器上。把zookeeper-3.3.5.tar.gz放在home文件夹下，给文件加入权限chmod +... 阅读全文
摘要：
前言： hadoop中表连接其实类似于我们用sqlserver对数据进行跨表查询时运用的inner join一样，两个连接的数据要有关系连接起来，中间必须有一个相等的字段进行连接，其实hadoop的表连接就是对文本的处理，处理的文本中有一部分的内容是一样的，然后把这鞋大量的数据按照中间的一个相同的部... 阅读全文
摘要：
对解压过后的文件进行从命名把"/usr/hadoop"读权限分配给hadoop用户（非常重要）配置完之后我们要创建一个tmp文件供以后的使用然后对我们的hadoop进行配置文件的配置vim /etc/profile最下边的两行就是我们的hadoop文件的配置内容重新启动配置文件。之后要配置hadoo... 阅读全文
摘要：
前言 首先hadoop是在linux系统上进行搭建的，我们首先要在自己电脑上装上虚拟机然后装linux系统，因为我们是测试：在本地虚拟机上装两个linux分别搭建好hadoop环境能实现简单的数据处理就可以了，最终的效果类似于我们c#中的hello world！能做到这里我们的搭建测试环境就算基本... 阅读全文
摘要：
链接操作相关的命令quit：关闭连接（connection）auth：简单密码认证持久化save：将数据同步保存到磁盘bgsave：将数据异步保存到磁盘lastsave：返回上次成功将数据保存到磁盘的Unix时戳shundown：将数据同步保存到磁盘，然后关闭服务远程服务控制info：提供服务器的信息和统计monitor：实时转储收到的请求slaveof：改变复制策略设置config：在运行时配置Redis服务器对value操作的命令exists(key)：确认一个key是否存在del(key)：删除一个keytype(key)：返回值的类型keys(pattern)：返回满足给定patter 阅读全文
摘要：
时间安装脚本从NTP上把时间同步到本地cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime更新本地时间ntpdate us.pool.ntp.org（如果没有安装ntpdate，使用命令：yum install -y ntpdate进行安装）加入定时计划任务，每隔10分钟同步一下时钟，首先编辑服务计划文件crontab -e（如果没有安装crontab,使用命令：yum install vixie-cronyum install crontabs进行安装 ）#加入每隔10分钟更新的任务0-59/10 * * * * /usr/sbin/ntpd 阅读全文