摘要：转自：http://www.cnblogs.com/tgzhu/p/5790572.html client 向 Active NN 发送写请求时，NN为这些数据分配DN地址，HDFS文件块副本的放置对于系统整体的可靠性和性能有关键性影响。一个简单但非优化的副本放置策略是，把副 本分别放在不同机架，甚 阅读全文

摘要：转自：http://www.cnblogs.com/tgzhu/p/5790565.html 早期的hadoop版本，NN是HDFS集群的单点故障点，每一个集群只有一个NN,如果这个机器或进程不可用，整个集群就无法使用。为了解决这个问题，出现了一堆针对HDFS HA的解决方案（如：Linux HA, 阅读全文

摘要：转自：http://www.cnblogs.com/tgzhu/p/5788634.html 在配置hbase集群将 hdfs 挂接到其它镜像盘时，有不少困惑的地方，结合以前的资料再次学习; 大数据底层技术的三大基石起源于Google在2006年之前的三篇论文GFS、Map-Reduce、 Bigt 阅读全文

摘要：原文 http://www.cnblogs.com/jasondan/p/4011153.html 关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloud 阅读全文

摘要：/* 第一步 split 有系统自动切分 第二步 map 撰写map类extemds Maper 复写Map方法； 第三步 shuffle Partion 分区，将不同信息区分的分发到不同的Reducer中 Sort 排序，按照key的不同标准判断顺序 Group 分组，按照不同的key值判断相同的 阅读全文

摘要：一．简介 Hadoop2.x之后没有Eclipse插件工具，我们就不能在Eclipse 上调试代码，我们要把写好的java代码的MapReduce打包成jar然后在Linux上运行，所以这种不方便我们调试代码，所以我们自己编译一个 Eclipse插件，方便我们在我们本地上调试，经过hadoop1.x 阅读全文

摘要：hadoop搭建与eclipse开发环境设置（转） 1. Windows下eclipse开发环境配置 1.1 安装开发hadoop插件 将hadoop安装包hadoop\contrib\eclipse-plugin\hadoop-0.20.2-eclipse-plugin.jar拷贝到eclipse 阅读全文

摘要：Sqoop-1.4.4工具import和export使用详解 Sqoop可以在HDFS/Hive和关系型数据库之间进行数据的导入导出，其中主要使用了import和export这两个工具。这两个工具非常强大，提供了很多选项帮助我们完成数据的迁移和同步。比如，下面两个潜在的需求： 这里，我们介绍Sqoo 阅读全文

摘要：ZooKeeper典型应用场景一览 数据发布与订阅（配置中心） 发布与订阅模型，即所谓的配置中心，顾名思义就是发布者将数据发布到ZK节点上，供订阅者动态获取数据，实现配置信息的集中式管理和动态更新。例如全局的配置信息，服务式服务框架的服务地址列表等就非常适合使用。 应用中用到的一些配置信息放到ZK上 阅读全文

摘要： 阅读全文

摘要：A:hive原理 B:hive体系结构 阅读全文

摘要：A:传统方式设置ssh方法 B:hadoop文档中的ssh设置方式： 阅读全文

摘要：1.上传zk安装包2.解压3.配置（先在一台节点上配置） 3.1添加一个zoo.cfg配置文件 $ZOOKEEPER/conf mv zoo_sample.cfg zoo.cfg 3.2修改配置文件（zoo.cfg） dataDir=/itcast/zookeeper-3.4.5/data serv 阅读全文

摘要：Hive只在一个节点上安装即可1.上传tar包2.解压 tar -zxvf hive-0.9.0.tar.gz -C /cloud/3.配置mysql metastore（切换到root用户） 配置HIVE_HOME环境变量 （MYSQL的安装过程后面有详细过程） rpm -qa | grep my 阅读全文

摘要：准备： 两台 master 多台 RegionServer zookeeper集群 第一步：配置conf/regionservers vi regionservers xxx001 (输入多台RegionServer) xxx002 ...第二步：配置master 的备份节点 在conf/创建bac 阅读全文

摘要：1.上传hbase安装包2.解压3.配置hbase集群，要修改3个文件（首先zk集群已经安装好了） 注意：要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下 3.1修改hbase-env.shexport JAVA_HOME=/usr/java/jd 阅读全文

摘要：1.准备Linux环境 1.1修改主机名 vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=itcast ### 1.2修改IP 两种方式： 第一种：通过Linux图形界面进行修改 进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点 阅读全文

摘要：{ hadoop集群HA完全分布式第二次启动过程。 } 再次启动集群： A:启动zookeeper ./zkService.sh start (分别启动) zookeeper集群上使用./zkService.sh status会分别有Follwer和leader状态 B:启动hdfs start-d 阅读全文

摘要：{ hadoop-2.4.1又增加了YARN HA apache提供的hadoop-2.4.1的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库， 所以如果在64位的操作上安装hadoop-2.4.1就需要重新在64操作系统上重新编译，可以使用Apache的工具编译。 hado 阅读全文

摘要：查看日志如下： 从日志中可以看出，原因是因为datanode的clusterID 和 namenode的clusterID 不匹配。 java.io.IOException: Incompatible clusterIDs in /usr/local/hadoop/hdfs/data: nameno 阅读全文