摘要： hadoop搭建与eclipse开发环境设置（转） 1. Windows下eclipse开发环境配置 1.1 安装开发hadoop插件 将hadoop安装包hadoop\contrib\eclipse-plugin\hadoop-0.20.2-eclipse-plugin.jar拷贝到eclipse 阅读全文

摘要： Sqoop-1.4.4工具import和export使用详解 Sqoop可以在HDFS/Hive和关系型数据库之间进行数据的导入导出，其中主要使用了import和export这两个工具。这两个工具非常强大，提供了很多选项帮助我们完成数据的迁移和同步。比如，下面两个潜在的需求： 这里，我们介绍Sqoo 阅读全文

摘要： ZooKeeper典型应用场景一览 数据发布与订阅（配置中心） 发布与订阅模型，即所谓的配置中心，顾名思义就是发布者将数据发布到ZK节点上，供订阅者动态获取数据，实现配置信息的集中式管理和动态更新。例如全局的配置信息，服务式服务框架的服务地址列表等就非常适合使用。 应用中用到的一些配置信息放到ZK上 阅读全文

摘要： 阅读全文

摘要： A:hive原理 B:hive体系结构 阅读全文

摘要： A:传统方式设置ssh方法 B:hadoop文档中的ssh设置方式： 阅读全文

摘要： 阅读全文

摘要： 阅读全文

摘要： Linux安装原理： 阅读全文

摘要： 1.上传zk安装包2.解压3.配置（先在一台节点上配置） 3.1添加一个zoo.cfg配置文件 $ZOOKEEPER/conf mv zoo_sample.cfg zoo.cfg 3.2修改配置文件（zoo.cfg） dataDir=/itcast/zookeeper-3.4.5/data serv 阅读全文

摘要： Hive只在一个节点上安装即可1.上传tar包2.解压 tar -zxvf hive-0.9.0.tar.gz -C /cloud/3.配置mysql metastore（切换到root用户） 配置HIVE_HOME环境变量 （MYSQL的安装过程后面有详细过程） rpm -qa | grep my 阅读全文

摘要： 准备： 两台 master 多台 RegionServer zookeeper集群 第一步：配置conf/regionservers vi regionservers xxx001 (输入多台RegionServer) xxx002 ...第二步：配置master 的备份节点 在conf/创建bac 阅读全文

摘要： 1.上传hbase安装包2.解压3.配置hbase集群，要修改3个文件（首先zk集群已经安装好了） 注意：要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下 3.1修改hbase-env.shexport JAVA_HOME=/usr/java/jd 阅读全文

摘要： 1.准备Linux环境 1.1修改主机名 vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=itcast ### 1.2修改IP 两种方式： 第一种：通过Linux图形界面进行修改 进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点 阅读全文

摘要： { hadoop集群HA完全分布式第二次启动过程。 } 再次启动集群： A:启动zookeeper ./zkService.sh start (分别启动) zookeeper集群上使用./zkService.sh status会分别有Follwer和leader状态 B:启动hdfs start-d 阅读全文

摘要： { hadoop-2.4.1又增加了YARN HA apache提供的hadoop-2.4.1的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库， 所以如果在64位的操作上安装hadoop-2.4.1就需要重新在64操作系统上重新编译，可以使用Apache的工具编译。 hado 阅读全文