摘要：
1.显示Rebuid进度/opt/MegaRAID/MegaCli/MegaCli64 -PDRbld -ShowProg -physdrv[20:2] -aALL2.查看E S/opt/MegaRAID/MegaCli/MegaCli64 -PDList -aAll -NoLog | grep -... 阅读全文
posted @ 2015-06-12 23:58
51runsky
阅读(870)
评论(0)
推荐(0)
摘要：
storm高可靠性：storm有一种机制可以保证从spout发出的每个tuple都会被完全处理 可靠性机制：1.节点故障迁移 当一个节点上的worker出现问题是，会自动切到其他节点；2.消息完整发送一个消息(tuple)从spout发送出来，可能会导致成百上千的消息基于此消息被创建“单词统计”的例子：storm任务从数据源每次读取一个完整的英文句子；将这个句子分解为独立的单词，最后，... 阅读全文
posted @ 2015-06-12 23:53
51runsky
阅读(218)
评论(0)
推荐(0)
摘要：
实例分析lifeCycle：RandomWordSpout 1 package cn.itcast.storm.spout; 2 import java.util.Map; 3 import java.util.Random; 4 import org.apache.commons.logging.... 阅读全文
posted @ 2015-06-12 23:46
51runsky
阅读(320)
评论(0)
推荐(0)
摘要：
1. 概念消息流是storm里面的最关键的抽象。一个消息流是一个没有边界的tuple序列， 而这些tuples会被以一种分布式的方式并行地创建和处理。 对消息流的定义主要是对消息流里面的tuple的定义， 我们会给tuple里的每个字段一个名字。 并且不同tuple的对应字段的类型必须一样。 也就是说： 两个tuple的第一个字段的类型必须一样， 第二个字段的类型必须一样， 但是第一个字段和第二个... 阅读全文
posted @ 2015-06-12 23:45
51runsky
阅读(201)
评论(0)
推荐(0)
摘要：
安装storm集群，需要依赖以下组件：ZookeeperPythonZeromqStormJDKJZMQ故安装过程根据上面的组件分为以下几步：安装JDK安装Zookeeper集群安装Python及依赖安装Storm另外，操作系统环境为：Centos6.4，安装用户为：root。1. 安装JDK安装jdk有很多方法，可以参考文博客使用yum安装CDH Hadoop集群中的jdk安装步骤，需要说明的是... 阅读全文
posted @ 2015-06-12 23:44
51runsky
阅读(221)
评论(0)
推荐(0)
摘要：
Storm 是Twitter的一个开源框架。Storm一个分布式的、容错的实时计算系统。 官网：http://storm.apache.org/Twitter Storm集群表面上类似于Hadoop集群，Hadoop上运行的是MapReduce Jobs，而Storm运行topologies；但是其... 阅读全文
posted @ 2015-06-12 23:40
51runsky
阅读(242)
评论(0)
推荐(0)
摘要：
1. MapReduce架构： 各个角色的功能： 2. MapReduce——容错性： JobTracker 单点故障，一旦出现故障，整个集群不可用 TaskTracker 周期性向JobTracker汇报心跳 一旦出现故障，上面所有任务将被调度到其他节点上 MapTask/ReduceTask 运行失败后，将被调度到其他节点上重新执行 3. Ma... 阅读全文
posted @ 2015-06-12 19:41
51runsky
阅读(819)
评论(0)
推荐(0)
摘要：
1. HDFS （2.0）架构：2. HDFS 设计思想： HDFS数据块（block）:文件被切分成固定大小的数据块默认数据块大小为64MB，可配置若文件大小不到64MB，则单独存成一个block为何数据块如此之大数据传输时间超过寻道时间（高吞吐率）一个文件存储方式按大小被切分成若干个block，存储到不同节点上默认情况下每个block有三个副本 3. HDFS优缺点： 优点：高... 阅读全文
posted @ 2015-06-12 19:31
51runsky
阅读(494)
评论(0)
推荐(0)
摘要：
rsync+inotify实现文件时实同步 由192.168.0.5上inotify服务监测文件是否有更新,如果有更新(修改，删除，新建)inotify就会通过rsync命令将更新的文件推向三台web服务器1、在三台web上配置rsync服务 #mkdir -p /data... 阅读全文
posted @ 2015-06-12 19:29
51runsky
阅读(184)
评论(0)
推荐(0)
摘要：
1.rsync服务配置: [root@redhat6 ~]# vim /etc/rsyncd.conf #全局配置 motd file=/etc/rsyncd.motd //指定客户端访问显示的欢迎信息可以自定义文件内容 port=873 address=0.0.0.0 uid=nobody gid... 阅读全文
posted @ 2015-06-12 19:18
51runsky
阅读(201)
评论(0)
推荐(0)
浙公网安备 33010602011771号