随笔分类 -  hadoop

hadoop(三):hdfs 机架感知
摘要:转自:http://www.cnblogs.com/tgzhu/p/5790572.html client 向 Active NN 发送写请求时,NN为这些数据分配DN地址,HDFS文件块副本的放置对于系统整体的可靠性和性能有关键性影响。一个简单但非优化的副本放置策略是,把副 本分别放在不同机架,甚 阅读全文

posted @ 2016-11-05 09:12 笑明子 阅读(2528) 评论(0) 推荐(0)

hadoop(二):hdfs HA原理及安装
摘要:转自:http://www.cnblogs.com/tgzhu/p/5790565.html 早期的hadoop版本,NN是HDFS集群的单点故障点,每一个集群只有一个NN,如果这个机器或进程不可用,整个集群就无法使用。为了解决这个问题,出现了一堆针对HDFS HA的解决方案(如:Linux HA, 阅读全文

posted @ 2016-11-05 09:11 笑明子 阅读(2358) 评论(0) 推荐(0)

hadoop(一):深度剖析hdfs原理
摘要:转自:http://www.cnblogs.com/tgzhu/p/5788634.html 在配置hbase集群将 hdfs 挂接到其它镜像盘时,有不少困惑的地方,结合以前的资料再次学习; 大数据底层技术的三大基石起源于Google在2006年之前的三篇论文GFS、Map-Reduce、 Bigt 阅读全文

posted @ 2016-11-05 09:10 笑明子 阅读(3528) 评论(2) 推荐(0)

离线安装Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程
摘要:原文 http://www.cnblogs.com/jasondan/p/4011153.html 关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloud 阅读全文

posted @ 2016-09-14 17:29 笑明子 阅读(672) 评论(0) 推荐(0)

mapReducer程序编写过程
摘要:/* 第一步 split 有系统自动切分 第二步 map 撰写map类extemds Maper 复写Map方法; 第三步 shuffle Partion 分区,将不同信息区分的分发到不同的Reducer中 Sort 排序,按照key的不同标准判断顺序 Group 分组,按照不同的key值判断相同的 阅读全文

posted @ 2016-08-15 23:05 笑明子 阅读(529) 评论(0) 推荐(0)

hadoop2.Xeclipse插件编译
摘要:一.简介 Hadoop2.x之后没有Eclipse插件工具,我们就不能在Eclipse 上调试代码,我们要把写好的java代码的MapReduce打包成jar然后在Linux上运行,所以这种不方便我们调试代码,所以我们自己编译一个 Eclipse插件,方便我们在我们本地上调试,经过hadoop1.x 阅读全文

posted @ 2016-08-15 11:29 笑明子 阅读(1228) 评论(0) 推荐(0)

hadoop搭建与eclipse开发环境设置
摘要:hadoop搭建与eclipse开发环境设置(转) 1. Windows下eclipse开发环境配置 1.1 安装开发hadoop插件 将hadoop安装包hadoop\contrib\eclipse-plugin\hadoop-0.20.2-eclipse-plugin.jar拷贝到eclipse 阅读全文

posted @ 2016-08-11 18:46 笑明子 阅读(3140) 评论(0) 推荐(1)

Sqoop-1.4.4工具import和export使用详解
摘要:Sqoop-1.4.4工具import和export使用详解 Sqoop可以在HDFS/Hive和关系型数据库之间进行数据的导入导出,其中主要使用了import和export这两个工具。这两个工具非常强大,提供了很多选项帮助我们完成数据的迁移和同步。比如,下面两个潜在的需求: 这里,我们介绍Sqoo 阅读全文

posted @ 2016-08-11 18:43 笑明子 阅读(5931) 评论(0) 推荐(1)

ZooKeeper典型应用场景一览
摘要:ZooKeeper典型应用场景一览 数据发布与订阅(配置中心) 发布与订阅模型,即所谓的配置中心,顾名思义就是发布者将数据发布到ZK节点上,供订阅者动态获取数据,实现配置信息的集中式管理和动态更新。例如全局的配置信息,服务式服务框架的服务地址列表等就非常适合使用。 应用中用到的一些配置信息放到ZK上 阅读全文

posted @ 2016-08-11 18:42 笑明子 阅读(174) 评论(0) 推荐(1)

Linux常用命令总结
摘要: 阅读全文

posted @ 2016-08-11 18:39 笑明子 阅读(131) 评论(0) 推荐(1)

hive原理和体系图解
摘要:A:hive原理 B:hive体系结构 阅读全文

posted @ 2016-08-11 18:37 笑明子 阅读(217) 评论(0) 推荐(1)

Linux中ssh免秘钥设置
摘要:A:传统方式设置ssh方法 B:hadoop文档中的ssh设置方式: 阅读全文

posted @ 2016-08-11 18:33 笑明子 阅读(200) 评论(0) 推荐(1)

zookeeper-3.4.5 搭建
摘要:1.上传zk安装包2.解压3.配置(先在一台节点上配置) 3.1添加一个zoo.cfg配置文件 $ZOOKEEPER/conf mv zoo_sample.cfg zoo.cfg 3.2修改配置文件(zoo.cfg) dataDir=/itcast/zookeeper-3.4.5/data serv 阅读全文

posted @ 2016-08-11 17:39 笑明子 阅读(202) 评论(0) 推荐(2)

hive-0.14安装
摘要:Hive只在一个节点上安装即可1.上传tar包2.解压 tar -zxvf hive-0.9.0.tar.gz -C /cloud/3.配置mysql metastore(切换到root用户) 配置HIVE_HOME环境变量 (MYSQL的安装过程后面有详细过程) rpm -qa | grep my 阅读全文

posted @ 2016-08-11 17:38 笑明子 阅读(353) 评论(0) 推荐(1)

HBase-0.96.2 HA分布式搭建
摘要:准备: 两台 master 多台 RegionServer zookeeper集群 第一步:配置conf/regionservers vi regionservers xxx001 (输入多台RegionServer) xxx002 ...第二步:配置master 的备份节点 在conf/创建bac 阅读全文

posted @ 2016-08-11 17:33 笑明子 阅读(166) 评论(0) 推荐(1)

HBase-0.96.2搭建
摘要:1.上传hbase安装包2.解压3.配置hbase集群,要修改3个文件(首先zk集群已经安装好了) 注意:要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下 3.1修改hbase-env.shexport JAVA_HOME=/usr/java/jd 阅读全文

posted @ 2016-08-11 17:32 笑明子 阅读(320) 评论(0) 推荐(1)

hadoop2.4.1伪分布式搭建
摘要:1.准备Linux环境 1.1修改主机名 vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=itcast ### 1.2修改IP 两种方式: 第一种:通过Linux图形界面进行修改 进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点 阅读全文

posted @ 2016-08-11 17:30 笑明子 阅读(177) 评论(0) 推荐(1)

hadoopHA完全分布式集群第二次启动过程。
摘要:{ hadoop集群HA完全分布式第二次启动过程。 } 再次启动集群: A:启动zookeeper ./zkService.sh start (分别启动) zookeeper集群上使用./zkService.sh status会分别有Follwer和leader状态 B:启动hdfs start-d 阅读全文

posted @ 2016-08-11 17:27 笑明子 阅读(1543) 评论(0) 推荐(1)

hadoop2.4.1HA完全分布式集群搭建文档
摘要:{ hadoop-2.4.1又增加了YARN HA apache提供的hadoop-2.4.1的安装包是在32位操作系统编译的,因为hadoop依赖一些C++的本地库, 所以如果在64位的操作上安装hadoop-2.4.1就需要重新在64操作系统上重新编译,可以使用Apache的工具编译。 hado 阅读全文

posted @ 2016-08-11 17:24 笑明子

执行start-dfs.sh后,datenode没有启动(转改)
摘要:查看日志如下: 从日志中可以看出,原因是因为datanode的clusterID 和 namenode的clusterID 不匹配。 java.io.IOException: Incompatible clusterIDs in /usr/local/hadoop/hdfs/data: nameno 阅读全文

posted @ 2016-07-22 09:54 笑明子 阅读(1391) 评论(0) 推荐(1)

导航