摘要： mesos上安装storm 美人岛，美丽海岛风景 1.基本说明 如果只用一句话来描述storm的话，可能会是这样：分布式实时计算系统。按照storm作者的说法，storm对于实时计算的意义类似于hadoop对于批处理的意义。我们都知道，根据google mapreduce来实现的hadoop为我们提 阅读全文

摘要： 编译自己的Hadoop Eclipse插件1.准备和说明 虽然大家现在能下载到各种版本对应的插件，但是自从0.2版本之后hadoop就不提供新版本的插件了，现在看到的插件都是别人编译好的。为什么要这样呢？其实仔细想想这样做确实是个不错的注意，hadoop本身是开源的，经常有人会按自己的需求拿他定制，这样来说每个人的hadoop都是不一样的，所以针对自己的hadoop来编译一个属于自己的插件，这样在eclipse和hadoop的匹配过程中，就不会造成一些奇怪的错误啦。 相信你看这篇文章肯定是要在Eclipse下运行Hadoop了，可以参考我的文章 《在Windos上使用Eclipse进行Had. 阅读全文

摘要： 使用eclipse的hadoop开发环境搭建1.准备1.1 完成linux上的hadoop集群安装,并且能够从WIN上远程到linux 如果你还未完成安装集群可以参考我的这篇博文（注意是基于Mesos的） 《基于集群资源管理器Mesos的Hadoop安装教程地址》1.2 在你的本机上也安装好JDK和Eclipse 我本机使用的Java版本是1.7的 JDK1.7官方下载地址 我使用的Eclipse版本是3.62 Eclipse官方下载地址 注意：你使用的Hadoop版本和你使用的Eclipse版本有“十分大的关系” 如果你是按照我前面的教程基于Mesos的Hadoop0.20.... 阅读全文

摘要： 重要知识的总结，方便自己以后翻阅复习，在知识连贯性上穿插性较大，注意。1.基本知识内存单元：每个内存单元是 1个字节=8位=2个16进制数 “A5H” 则可以表示一个内存单元的值字：就是在CPU内部传输，处理，暂时存放的最大数据大小。学习的汇编都是以8086的CPU为基础，在8086的CPU当中内部都是16位来传输的。所以之后我们所说都是1字=2字节=16位存储：都是小端存储（LittleEndian），低位数据放在低位。20位：因为地址总线每次传输的是20位，但是CPU内部是16位，这样就诞生了后面很多偏移的概念了。（= =为什么不直接设计成16位传输呢）2.寄存器注意命令mov ds,1. 阅读全文

摘要： Hive安装配置以及整合1.基本说明 本文以mesos上安装hadoop为基础，有些地方与独立安装hadoop集群不同，请注意。 安装前提是已经正确完成了hadoop,Hbase的安装并且能够正常启动。(具体参照我前面的文章) 《HBASE安装教程》 《mesos上的hadoop集群安装教程》 官方文档:https://cwiki.apache.org/confluence/display/Hive/GettingStarted2.下载安装wget http://mirror.bjtu.edu.cn/apache/hive/hive-0.9.0/hive-0.9.0.tar.gz... 阅读全文

摘要： sqoop安装教程1.使用背景以及介绍 Sqoop is a tool designed to transfer data between Hadoop and relational databases. You can use Sqoop to import data from arelational database management system (RDBMS) such as MySQL or Oracleinto the Hadoop Distributed File System (HDFS),transform the data in Hadoop MapReduce, a. 阅读全文

摘要： Hbase快速安装1.准备工作1.1 确保已经正确安装hadoop详情可以参考我的一篇基于集群资源管理Mesos的hadoop安装教程地址： 《Mesos上安装Hadoop超详细部署攻略》1.2 我的配置说明　1.3 基本说明 我的所有程序均在hadoop用户下进行（除非必须要用root才切换）,所有的安装解压均在hadoop主目录。 有任何问题，都以官方文档为准：http://hbase.apache.org2.下载并且解压2.1 选择适合自己的Hbase版本 官方文档给出的对照关系如下我的hadoop是0.20.205的所以我选择了hbase-0.92.x的版本2.2 下载解压wge... 阅读全文

摘要： 内容原创，转载请注明，谢谢！第一章 基本介绍1.准备资料和情况说明。使用背景： a.希望在一个集群上配备两套计算框架。比如MPI STORM HADOOP SPARK。 b.CPU和内存资源的高效管理 c.需要细粒度的资源共享，使上层的框架实现特定的调度目标。 参考资料：主要是两部分，一部分是别人的两篇博客（国内说mesos结合hadoop估计也就这两篇了），还有就是GITHUB的官方文档。 博客资料：http://www.cnblogs.com/jasonkoo/category/398407.html http://blog.chinaunix.net/uid-2... 阅读全文

摘要： zookeeper安装1.准备工作我的机器配置如图：保证每台机器上的hosts文件正确在root下进行vi /etc/hostsmastersrv 192.168.4.100slavesrv1 192.168.4.101slavesrv2 192.168.4.102slavesrv3 192.168.4.1032.下载解压(在mastersrv上)wget http://apache.etoak.com/zookeeper/zookeeper-3.4.5/zookeeper-3.4.5.tar.gztar -zxvf zookeeper-3.4.5.tar.gz解压后权限可能不正确，请更... 阅读全文