摘要： 构造分布式的Spark1.0.2集群下载Scala 2.10.4，具体下载地址：http://www.scala-lang.org/download/2.10.4.html在Ubuntu机器上Scala会帮助我们自动选择“scala-2.10.4.tgz”进行下载；安装和配置Scala我们需要在ma... 阅读全文

摘要： 目录（一）搭建单机storm集群一、下载所需要的资源二、资源解压三、安装JDK四、安装依赖的库文件五、安装ZMQ六、安装jzmq七、启动zookeeper八、启动storm九、在UI端访问十、编译storm-start jar包十一、storm-starter源码导出十二、提交Topology（二）... 阅读全文

摘要： 对于如何编译WordCount.java，对于0.20 等旧版本版本的做法很常见，具体如下：javac -classpath /usr/local/hadoop/hadoop-1.0.1/hadoop-core-1.0.1.jar WordCount.java但较新的 2.X 版本中，已经没有 ha... 阅读全文

摘要： 一、 介绍Ganglia 监控套件包括三个主要部分：gmond，gmetad，和网页接口，通常被称为ganglia- web。gmond 是一个守护进程，他运行在每一个需要监测的节点上，收集监测统计，发送和接受在同一个组播或单播通道上的统计信息。gme tad 也是一个守护进程，他定期检查gmond... 阅读全文

摘要： 前四篇文章讲了Hadoop的配置和测试以及eclipse下的使用，有兴趣的可以先看下。1.Hadoop流简介用可执行文件作为Mapper和Reducer，接受的都是标准输入，输出的都是标准输出。当一个可执行文件作为Mapper时，每一个Map任务会以一个独立的进程启动这个可执行文件，然后在Map任务... 阅读全文

摘要： 一、PAPI简介PAPI是田纳西大学创新计算实验室开发的一组可以在多个处理器平台上对硬件性能计数器进行访问的标准接口，它的目标是方便用户在程序运行时监测和采集由硬件性能计数器记录的处理器事件信息。用户可以使用其提供的high/low api对程序某一段的使用时钟周期数，执行指令数，L1/L2 cac... 阅读全文

摘要： 前三篇文章为Hadoop环境配置和命令行运行程序及查看结果等等。安装eclipse注：只需在master上安装即可在www.eclipse.org下载linux对应32位安装包，在根目录新建eclipse文件夹拷贝eclipse-java-mars-R-linux-gtk.tar.gz到eclips... 阅读全文

摘要： 大家如果还没配置过Hadoop的可以看我前两篇文章。验证Hadoop分布式集群首先在hdfs文件系统上创建两个目录，创建过程如下所示：hadoop fs –mkdir /data/wordconuthadoop fs –mkdir /outputhdfs中的/data/wordcount用来存放Ha... 阅读全文

摘要： 首先我们要完成SSH无密码通信等内容，见上篇文章《Hadoop环境初步搭建》后两篇文章是关于《Hadoop下实例程序测试》，这些文章都是无缝衔接的哈~在master这台机器上安装Hadoop 2.2.0,Hadoop 2.2.0的下载地址为：http://mirror.bit.edu.cn/apac... 阅读全文

摘要： 一、初步环境搭建1在Windows 7上安装VMware虚拟机（VMware-workstation-full-9.0.2），VMware Workstation下载地址：https://my.vmware.com/cn/web/vmware/details?downloadGroup=WKST-9... 阅读全文