摘要：Hbase 负载均衡 Hbase全局计划 Hbase全局计划执行的流程--估算 Hbase随机分配计划 Hbase 批量启动分配计划 Hbase 通过shell控制负载均衡 何时使用HBase 阅读全文

摘要：Hbase访问方式 Hbase shell命令操作 Hbase shell命令操作--general操作 首先启动Hbase 启动shell 查看表结构 删除一个表 创建表和查看表结构 插入几条数据 查看有哪些数据 获取一个Row Key 的所以数据 获取一个Row Key，一个列簇 的所以数据 获 阅读全文

摘要：Hbase分布式集群搭建--安装步骤 这一步如果没有deploy.sh脚本的可以使用scp命令分别分发到其他节点去 到集群里看看安装好的hbase 使用脚本启动所有节点的zookeeper 启动HDFS 启动Hbase 在浏览器中打开 现在将主的master 杀掉（这里杀死的话需要点点时间） 可以看 阅读全文

摘要：概述 Hbase与HDFS对比 Hbase表的特点 行存储与列存储 Hbase 逻辑视图 Hbase数据模型 Hbase支持的操作 Hbase物理存储 Hbase基本架构 Hbase各个组件 Hbase中的zookeeper Hbase容错机制 Hbase 中的region定位 Hbase与关系型数 阅读全文

摘要：在集群的接收端 启动producer 在consumer这边能接收到producer发来的数据 阅读全文

摘要：怎么安装解压kafka这里就不多说了，从配置文件说起 我这里搭建的是三节点集群 master slave1 slave2 修改server.properties 文件 把自己本地安装的zookeeper配置上 还有这个地方broker.id 我这里 master slave1 slave2 分别对于 阅读全文

摘要：YARN产生的背景 回顾mapreduce1.0(以下是对应的框架) JobTracker同事负责资源的管理和调度和作业的管理和调度 mapreduce1.0的缺点 1.扩展性差 2.另外一个缺点就是单点故障 3.资源利用率低 4.通用性差 什么是yarn YARN在hadoop生态圈系统中的位置 阅读全文

摘要：HDFS 设计的前提与目标 HDFS体系结构1 HDFS体系结构2 HDFS特性与优点 高容错性保障机制 HDFS不适合的场景 HDFS2.0的新特征 HA-QJM Federation 快照 异构层级存储结构 HDFS数据压缩与IO 瓶颈一般在磁盘上 影响磁盘速度的主要因素 速度压缩的目的 压缩解 阅读全文

摘要：hadoop hdfs常用命令 hadoop常用命令： hadoop fs 查看Hadoop HDFS支持的所有命令 hadoop fs –ls 列出目录及文件信息 hadoop fs –lsr 循环列出目录、子目录及文件信息 hadoop fs –put test.txt /user/sunlig 阅读全文

摘要：其实解决不难，是因为时钟不同步，把每个节点切换到root用户下同步时钟就好了，在重启hbase! 阅读全文

摘要：1、我直接切换到root用户下安装，这里需要三个插件一起配套使用的 分别是： 1.gzip 模块需要 zlib 库 ( 下载: http://www.zlib.NET/ )2.rewrite 模块需要 pcre 库 ( 下载: http://www.pcre.org/ )3.ssl 功能需要 ope 阅读全文

摘要：sqoop对hdfs导入导出怎么操作这里我就不多说了 现在说下sqoop导入导出时针对mysql后面用户手动创建的数据库导入到处遇到的问题 首先我这里搭建的是3节点集群 master slave1 slave2 我的sqoop mysql安装在master节点上，在mysql里自己创建了tv，stu 阅读全文

摘要：Hive环境的安装部署（完美安装）（集群内或集群外都适用）（含卸载自带mysql安装指定版本） Hive环境的安装部署（完美安装）（集群内或集群外都适用）（含卸载自带mysql安装指定版本） Hive环境的安装部署（完美安装）（集群内或集群外都适用）（含卸载自带mysql安装指定版本） Hive环境 阅读全文

摘要：在安装hive的过程中，一般需要的准备环境就是hadoop集群的正常启动，要装有mysql，zookeeper. 具体怎么安装配置我在这里不多说，安装教程网上有挺多的。 我这里说下我遇到的问题，首先从解压安装开始说起，解压安装完成后，配置环境变量， 这些都是一些常规步骤。 还有一些配置文件的 当我输 阅读全文

摘要：Hive 操作 （一）表操作 Hive 和 Mysql 的表操作语句类似，如果熟悉 Mysql，学习Hive 的表操作就非常容易了，下面对 Hive 的表操作进行深入讲解。 (1)先来创建一个表名为student1的内部表 hive> CREATE TABLE IF NOT EXISTS stude 阅读全文

摘要：安装myecplise的hadoop-eclipse-plugin-2.2.0插件的时候， 把插件放到这个文件夹里 打开myeclipse windows--》preferences 点击 Hadoop Map/Reduce就出现如下错误 首先检查环境变量 检查本机的jdk版本信息 检查自己的集群信 阅读全文

摘要：需要下载windows版本 bin目录下的文件，替换hadoop目录下原来的bin目录下的文件。下载网址是： https://github.com/srccodes/hadoop-common-2.2.0-bin 另外还需要注意：下载的动态库是64位的，所以必须要在64位windows系统下运行。 阅读全文