代码改变世界

随笔分类 - 1.1.├─ Hadoop

CentOS6.5安装kafka-2.10-0.8.2(单机)

2018-05-15 15:08 by 猎手家园, 1838 阅读, 收藏, 编辑
摘要: 1、下载 地址:https://kafka.apache.org/downloads 本文中下载版本:kafka_2.10-0.8.2.2.tgz 2、安装 安装目录:/usr/local 3、启动zookeeper 3.1、因为zookeeper.properties注释实在太多,所以我通过gre 阅读全文

CentOS6.5安装zookeeper-3.4.5(单机)

2018-05-15 15:03 by 猎手家园, 1392 阅读, 收藏, 编辑
摘要: 1、下载 下载链接:http://archive.apache.org/dist/zookeeper/ 本文下载版本:zookeeper-3.4.5.tar.gz 2、安装 安装目录:/usr/local/zookeeper-3.4.5 3、配置 在主目录下创建data和logs两个目录用于存储数据 阅读全文

一个简单的MapReduce示例(多个MapReduce任务处理)

2017-05-27 17:25 by 猎手家园, 13397 阅读, 收藏, 编辑
摘要: 一、需求 有一个列表,只有两列:id、pro,记录了id与pro的对应关系,但是在同一个id下,pro有可能是重复的。 现在需要写一个程序,统计一下每个id下有多少个不重复的pro。 为了写一个完整的示例,我使用了多job! 二、文件目录 三、样本数据(部分) 四、Java代码 1、OutCount 阅读全文

Intellij idea开发Hadoop MapReduce程序

2016-08-26 15:35 by 猎手家园, 19817 阅读, 收藏, 编辑
摘要: 1、首先下载一个Hadoop包,仅Hadoop即可。 http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz 2、打开Idea新建一个java项目。 3、项目配置 File Project St 阅读全文

在Hadoop平台跑python脚本

2016-08-26 11:08 by 猎手家园, 4921 阅读, 收藏, 编辑
摘要: 1、开发IDE,我使用的是PyCharm。 2、运行原理 使用python写MapReduce的“诀窍”是利用Hadoop流的API,通过STDIN(标准输入)、STDOUT(标准输出)在Map函数和Reduce函数之间传递数据。我们唯一需要做的是利用Python的sys.stdin读取输入数据,并 阅读全文

Hadoop常用命令

2016-08-26 10:03 by 猎手家园, 1130 阅读, 收藏, 编辑
摘要: 1、查看Hadoop HDFS支持的所有命令 hdfs dfs 2、查看指定目录下内容 hdfs dfs –ls [文件目录] eg:hdfs dfs –ls /user/hive 3、循环列出目录、子目录及文件信息 hdfs dfs –lsr [文件目录] eg:hdfs dfs –lsr /us 阅读全文

CentOS6.5 安装Zookeeper集群

2016-08-25 16:33 by 猎手家园, 1234 阅读, 收藏, 编辑
摘要: 1、下载解压 2、配置环境变量:vi ~/.bashrc 或者 vi /etc/profile 3、修改日志输出 4、修改配置文件 5、设置myid (1)Zookeeper-01: (2)Zookeeper -02: (3)Zookeeper -03: 6、各结点启动: 7、验证 8、状态 9、附 阅读全文

CentOS6.5安装sqoop2

2016-05-17 11:39 by 猎手家园, 383 阅读, 收藏, 编辑
摘要: 1、下载软件:http://archive.cloudera.com/cdh5/cdh/5/ 2、解压:tar -zxvf mysofts/sqoop2-1.99.5-cdh5.6.0.tar.gz 3、配置环境变量 4、拷贝mysql驱动包到 $SQOOP2_HOME/server/lib下 驱动 阅读全文

CentOS6.5 安装Kafka集群

2016-05-17 11:34 by 猎手家园, 1373 阅读, 收藏, 编辑
摘要: 1、安装zookeeper 参考文档:http://www.cnblogs.com/hunttown/p/5452138.html 2、下载:https://www.apache.org/dyn/closer.cgi?path=/kafka/0.9.0.1/kafka_2.10-0.9.0.1.tg 阅读全文

CentOS6.5 安装Storm集群

2016-05-17 11:26 by 猎手家园, 716 阅读, 收藏, 编辑
摘要: 1、首先安装依赖包 2、安装 zeromq 下载:http://download.zeromq.org/zeromq-4.1.2.tar.gz 解压:tar xzf zeromq-4.1.2.tar.gz 编译安装: 3、安装 jzmq (先安装JDK) 安装git: 或 如果不安装git,则使用w 阅读全文

CentOS6.5 安装Spark集群

2016-05-17 11:14 by 猎手家园, 1571 阅读, 收藏, 编辑
摘要: 一、安装依赖软件Scala(所有节点) 1、下载Scala:http://www.scala-lang.org/files/archive/scala-2.10.4.tgz 2、解压: 3、配置scala环境变量 4、测试scala运行环境 二、安装spark 1、下载spark:http://ar 阅读全文

Util.FSUtils: Waiting for dfs to exit safe mode

2016-05-08 16:15 by 猎手家园, 3919 阅读, 收藏, 编辑
摘要: 有好几次,启动Hadoop和HBase之后,执行jps命令,已经看到有HMaster的进程, 但是进入到HBase的shell,执行一个命令,会出现下面的错误: 进入到logs目录查看master的日志:发现一直显示下面的内容: 原来是Hadoop在刚启动的时候,还处在安全模式造成的。 可等Hado 阅读全文

Permission denied: user=root, access=WRITE, inode="/":hadoopuser:supergroup:drwxr-xr-x

2016-05-08 16:11 by 猎手家园, 1385 阅读, 收藏, 编辑
摘要: 提示往HDFS写文件是不容许的。 在conf/hdfs-site.xml中加入: 阅读全文

Hadoop重新格式化HDFS的方法

2016-05-08 16:10 by 猎手家园, 7834 阅读, 收藏, 编辑
摘要: 1、查看hdfs-site.xml: 将 dfs.name.dir所指定的目录删除、dfs.data.dir所指定的目录删除 2、查看core-site.xml: 将Hadoop.tmp.dir所指定的目录删除。 3、重新执行命令:hadoop namenode -format 格式化完毕。 注意: 阅读全文

Hadoop2.6的DataNode启动不了

2016-05-08 15:59 by 猎手家园, 581 阅读, 收藏, 编辑
摘要: 从日志上看,加粗的部分说明了问题: datanode的clusterID 和 namenode的clusterID 不匹配。 解决办法: 根据日志中的路径,cd /home/hadoop/tmp/dfs 能看到 data和name两个文件夹, 将name/current下的VERSION中的clus 阅读全文

ERROR [main] zookeeper.RecoverableZooKeeper: ZooKeeper create failed after 4 attempts

2016-05-08 15:55 by 猎手家园, 1265 阅读, 收藏, 编辑
摘要: 从问题看出你可能走入了一个误区——认为Hbase启动或安装出现问题。 从原理上讲,在集群中Zookeeper中会通过投票方式选举出一个Zookeeper为主,其余类似于主的热备, 而主Zookeeper会指定Hmaster,并由指定的Hmaster来进行Hbase的操作。 现在报错是ZooKeepe 阅读全文

CentOS6.5安装HBase集群及多HMaster配置

2016-05-08 14:47 by 猎手家园, 783 阅读, 收藏, 编辑
摘要: 1、配置SSH免登录 请参考:http://www.cnblogs.com/hunttown/p/5470357.html 服务器配置: Hadoop-NN-01 主Hadoop-NN-02 备Hadoop-DN-01 RegionServerHadoop-DN-02 RegionServerHad 阅读全文

Hadoop集群安装-CDH5(3台服务器集群)

2016-05-02 12:22 by 猎手家园, 6506 阅读, 收藏, 编辑
摘要: CDH5包下载:http://archive.cloudera.com/cdh5/ 主机规划: IP Host 部署模块 进程 192.168.107.82 Hadoop-NN-01 NameNode ResourceManager NameNode DFSZKFailoverController 阅读全文

Hadoop集群安装-CDH5(5台服务器集群)

2016-05-02 12:08 by 猎手家园, 9015 阅读, 收藏, 编辑
摘要: CDH5包下载:http://archive.cloudera.com/cdh5/ 架构设计: 主机规划: IP Host 部署模块 进程 192.168.254.151 Hadoop-NN-01 NameNode ResourceManager NameNode DFSZKFailoverCont 阅读全文