摘要： Storm 是Twitter的一个开源框架。Storm一个分布式的、容错的实时计算系统。 官网：http://storm.apache.org/Twitter Storm集群表面上类似于Hadoop集群，Hadoop上运行的是MapReduce Jobs，而Storm运行topologies；但是其... 阅读全文

摘要： 1. MapReduce架构： 各个角色的功能： 2. MapReduce——容错性： JobTracker 单点故障，一旦出现故障，整个集群不可用 TaskTracker 周期性向JobTracker汇报心跳 一旦出现故障，上面所有任务将被调度到其他节点上 MapTask/ReduceTask 运行失败后，将被调度到其他节点上重新执行 3. Ma... 阅读全文

摘要： 1. HDFS （2.0）架构：2. HDFS 设计思想： HDFS数据块（block）:文件被切分成固定大小的数据块默认数据块大小为64MB，可配置若文件大小不到64MB，则单独存成一个block为何数据块如此之大数据传输时间超过寻道时间（高吞吐率）一个文件存储方式按大小被切分成若干个block，存储到不同节点上默认情况下每个block有三个副本 3. HDFS优缺点： 优点：高... 阅读全文

摘要： rsync+inotify实现文件时实同步 由192.168.0.5上inotify服务监测文件是否有更新,如果有更新(修改，删除，新建)inotify就会通过rsync命令将更新的文件推向三台web服务器1、在三台web上配置rsync服务 #mkdir -p /data... 阅读全文

摘要： 1.rsync服务配置: [root@redhat6 ~]# vim /etc/rsyncd.conf #全局配置 motd file=/etc/rsyncd.motd //指定客户端访问显示的欢迎信息可以自定义文件内容 port=873 address=0.0.0.0 uid=nobody gid... 阅读全文

摘要： 编写自动化安装工具脚本，具体要求如下 ：1. 菜单函数实现显示界面2. yum函数判断yum是否正常3. 安装rpm函数判断是否需要安装软件包，无法安装要退出脚本4. 删除rpm函数判断是否需要删除软件包，无法删除要退出脚本5. 重启服务函数，无法启动服务要退出脚本6. mysql密码修改函数，无法修改密码要退出脚本7. 安装论坛函数8. 卸载论坛函数卸载论坛的时候，需要将安装的包都卸载，并且需要删除如下文件1. DNS遗留文件2. 数据库遗留文件3. apache遗留文件4. LAMP论坛的遗留文件1. 自定义lib库函数：#!/bin/bash#comment###### 菜单显示函数 # 阅读全文