摘要： 1.解压tar -zxvf 2.软连接 ln -s .... 3.修改配置文件： hbase-site.xml如果用户需要增加HDFS的特定配置就要添加到hdfs-site.xml文件中，同样在hbase中，用户需要增加配置信息，就要将配置添加到conf/hbase-site.xml 进程启动后，服 阅读全文

摘要： HBase简介：分布式数据库是构建在HDFS上的分布式列存储数据库（Mysql，Oracle是行数据库），是一个高可靠性，高性能，面向列。可伸缩的分布式存储系统 列式存储允许用户存储海量的数据到相同表中，而在传统数据库中，海量数据需要被切分为多个表进行存储行键 不宜过长，否则会占用大量的存储空间降低 阅读全文

摘要： Eclipse项目打包1.export2.通过maven打包，切入到项目目录下执行命令mvn clean package Mapreduce提交YARN集群运行 将jar包传到hadoop目录下运行格式：bin/hadoop jar jar包名 包名（代码的包名）.类名 +参数（输入路径输出路径）就 阅读全文

摘要： 概述： 2.MapReduce编程模型 阅读全文

摘要： YARN 概述：是hadoop2.x版本引入的资源管理系统直接从MR1演化而来新的hadoop资源管理器，通用的资源管理器可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率，资源统一管理和数据共享等方面带来了巨大的好处核心思想：将MapReduce1中的JobTracker的资源管理和作业 阅读全文

摘要： HDFS安装1.下载Hadoop安装包hadoop-2.6.0-cdh5.10.0.tar.gz上传至app目录解压软连接2.修改配置文件vi hdfs-site.xml vi hdfs-site.xml vi core-site.xml vi slaves vi hadoop-env.sh 3.测 阅读全文

摘要： HDFS结构 概述：是Hadoop项目的核心子项目。是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上 pc server高容错性 ：自动保存多个副本来增加容错性 如果某一个副本丢失，HDFS机制会复制其他机器上的副本，透明实现 支持超大 阅读全文

摘要： 1.单机(非分布式)模式 这种模式在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。 2.伪分布式运行模式 这种模式也是在一台单机上运行，但用不同的Java进程模仿分布式运行中的各类结点: (NameNode,DataNode,JobTracker,TaskTracker,S 阅读全文

摘要： Zookeeper概述： 分布式应用 协调服务 分布式锁服务 配置维护 组服务 分布式消息队列 分布式通知封装好容易出错的关键服务 最终一致性：无论连接到哪个server，展示给的都是一个serer实时性 不能保证两个客户端能同时得到刚更新的数据，如果需要最新数据，应该在读数据前调用sync接口等待 阅读全文

摘要： 主要是用来在启动或者停止的时候需要主节点通过ssh协议将从节点上面的进程启动或者停止，也就是说如果不配置ssh，需要在启动和停止hadoop的时候需要输入每个从节点的用户名和密码，但规模比较大的时候比较麻烦 创建目录 mkdir .sshls -a 可以查看已经创建的生成密钥输入命令 ssh-key 阅读全文