摘要：
1、下载 地址：https://kafka.apache.org/downloads 本文中下载版本：kafka_2.10-0.8.2.2.tgz 2、安装 安装目录：/usr/local 3、启动zookeeper 3.1、因为zookeeper.properties注释实在太多，所以我通过gre 阅读全文
随笔分类 - 1.1.├─ Hadoop
CentOS6.5安装zookeeper-3.4.5（单机）
2018-05-15 15:03 by 猎手家园, 1434 阅读, 收藏, 编辑
摘要：
1、下载 下载链接：http://archive.apache.org/dist/zookeeper/ 本文下载版本：zookeeper-3.4.5.tar.gz 2、安装 安装目录：/usr/local/zookeeper-3.4.5 3、配置 在主目录下创建data和logs两个目录用于存储数据 阅读全文
一个简单的MapReduce示例（多个MapReduce任务处理）
2017-05-27 17:25 by 猎手家园, 13690 阅读, 收藏, 编辑
摘要：
一、需求 有一个列表，只有两列：id、pro，记录了id与pro的对应关系，但是在同一个id下，pro有可能是重复的。 现在需要写一个程序，统计一下每个id下有多少个不重复的pro。 为了写一个完整的示例，我使用了多job! 二、文件目录 三、样本数据（部分） 四、Java代码 1、OutCount 阅读全文
Intellij idea开发Hadoop MapReduce程序
2016-08-26 15:35 by 猎手家园, 20177 阅读, 收藏, 编辑
摘要：
1、首先下载一个Hadoop包，仅Hadoop即可。 http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz 2、打开Idea新建一个java项目。 3、项目配置 File Project St 阅读全文
在Hadoop平台跑python脚本
2016-08-26 11:08 by 猎手家园, 5083 阅读, 收藏, 编辑
摘要：
1、开发IDE，我使用的是PyCharm。 2、运行原理 使用python写MapReduce的“诀窍”是利用Hadoop流的API，通过STDIN(标准输入)、STDOUT(标准输出)在Map函数和Reduce函数之间传递数据。我们唯一需要做的是利用Python的sys.stdin读取输入数据，并 阅读全文
Hadoop常用命令
2016-08-26 10:03 by 猎手家园, 1193 阅读, 收藏, 编辑
摘要：
1、查看Hadoop HDFS支持的所有命令 hdfs dfs 2、查看指定目录下内容 hdfs dfs –ls [文件目录] eg：hdfs dfs –ls /user/hive 3、循环列出目录、子目录及文件信息 hdfs dfs –lsr [文件目录] eg：hdfs dfs –lsr /us 阅读全文
CentOS6.5 安装Zookeeper集群
2016-08-25 16:33 by 猎手家园, 1285 阅读, 收藏, 编辑
摘要：
1、下载解压 2、配置环境变量：vi ~/.bashrc 或者 vi /etc/profile 3、修改日志输出 4、修改配置文件 5、设置myid （1）Zookeeper-01： （2）Zookeeper -02： （3）Zookeeper -03： 6、各结点启动： 7、验证 8、状态 9、附 阅读全文
CentOS6.5安装sqoop2
2016-05-17 11:39 by 猎手家园, 407 阅读, 收藏, 编辑
摘要：
1、下载软件：http://archive.cloudera.com/cdh5/cdh/5/ 2、解压：tar -zxvf mysofts/sqoop2-1.99.5-cdh5.6.0.tar.gz 3、配置环境变量 4、拷贝mysql驱动包到 $SQOOP2_HOME/server/lib下 驱动 阅读全文
CentOS6.5 安装Kafka集群
2016-05-17 11:34 by 猎手家园, 1396 阅读, 收藏, 编辑
摘要：
1、安装zookeeper 参考文档：http://www.cnblogs.com/hunttown/p/5452138.html 2、下载：https://www.apache.org/dyn/closer.cgi?path=/kafka/0.9.0.1/kafka_2.10-0.9.0.1.tg 阅读全文
CentOS6.5 安装Storm集群
2016-05-17 11:26 by 猎手家园, 736 阅读, 收藏, 编辑
摘要：
1、首先安装依赖包 2、安装 zeromq 下载：http://download.zeromq.org/zeromq-4.1.2.tar.gz 解压：tar xzf zeromq-4.1.2.tar.gz 编译安装： 3、安装 jzmq (先安装JDK） 安装git： 或 如果不安装git，则使用w 阅读全文
CentOS6.5 安装Spark集群
2016-05-17 11:14 by 猎手家园, 1607 阅读, 收藏, 编辑
摘要：
一、安装依赖软件Scala（所有节点） 1、下载Scala：http://www.scala-lang.org/files/archive/scala-2.10.4.tgz 2、解压： 3、配置scala环境变量 4、测试scala运行环境 二、安装spark 1、下载spark：http://ar 阅读全文
Util.FSUtils: Waiting for dfs to exit safe mode
2016-05-08 16:15 by 猎手家园, 4224 阅读, 收藏, 编辑
摘要：
有好几次，启动Hadoop和HBase之后，执行jps命令，已经看到有HMaster的进程， 但是进入到HBase的shell，执行一个命令，会出现下面的错误： 进入到logs目录查看master的日志：发现一直显示下面的内容： 原来是Hadoop在刚启动的时候，还处在安全模式造成的。 可等Hado 阅读全文
Permission denied: user=root, access=WRITE, inode="/":hadoopuser:supergroup:drwxr-xr-x
2016-05-08 16:11 by 猎手家园, 1438 阅读, 收藏, 编辑
摘要：
提示往HDFS写文件是不容许的。 在conf/hdfs-site.xml中加入： 阅读全文
Hadoop重新格式化HDFS的方法
2016-05-08 16:10 by 猎手家园, 8872 阅读, 收藏, 编辑
摘要：
1、查看hdfs-site.xml： 将 dfs.name.dir所指定的目录删除、dfs.data.dir所指定的目录删除 2、查看core-site.xml： 将Hadoop.tmp.dir所指定的目录删除。 3、重新执行命令：hadoop namenode -format 格式化完毕。 注意： 阅读全文
Hadoop2.6的DataNode启动不了
2016-05-08 15:59 by 猎手家园, 619 阅读, 收藏, 编辑
摘要：
从日志上看，加粗的部分说明了问题： datanode的clusterID 和 namenode的clusterID 不匹配。 解决办法： 根据日志中的路径，cd /home/hadoop/tmp/dfs 能看到 data和name两个文件夹， 将name/current下的VERSION中的clus 阅读全文
ERROR [main] zookeeper.RecoverableZooKeeper: ZooKeeper create failed after 4 attempts
2016-05-08 15:55 by 猎手家园, 1462 阅读, 收藏, 编辑
摘要：
从问题看出你可能走入了一个误区——认为Hbase启动或安装出现问题。 从原理上讲，在集群中Zookeeper中会通过投票方式选举出一个Zookeeper为主，其余类似于主的热备， 而主Zookeeper会指定Hmaster，并由指定的Hmaster来进行Hbase的操作。 现在报错是ZooKeepe 阅读全文
CentOS6.5安装HBase集群及多HMaster配置
2016-05-08 14:47 by 猎手家园, 823 阅读, 收藏, 编辑
摘要：
1、配置SSH免登录 请参考：http://www.cnblogs.com/hunttown/p/5470357.html 服务器配置： Hadoop-NN-01 主Hadoop-NN-02 备Hadoop-DN-01 RegionServerHadoop-DN-02 RegionServerHad 阅读全文
Hadoop集群安装-CDH5（3台服务器集群）
2016-05-02 12:22 by 猎手家园, 6572 阅读, 收藏, 编辑
摘要：
CDH5包下载：http://archive.cloudera.com/cdh5/ 主机规划： IP Host 部署模块 进程 192.168.107.82 Hadoop-NN-01 NameNode ResourceManager NameNode DFSZKFailoverController 阅读全文
Hadoop集群安装-CDH5（5台服务器集群）
2016-05-02 12:08 by 猎手家园, 9202 阅读, 收藏, 编辑
摘要：
CDH5包下载：http://archive.cloudera.com/cdh5/ 架构设计： 主机规划： IP Host 部署模块 进程 192.168.254.151 Hadoop-NN-01 NameNode ResourceManager NameNode DFSZKFailoverCont 阅读全文