我の女王

摘要： 1、进入Hbase客户端命令操作界面 在hbase的根目录下 bin/hbase shell 如果配置了环境变量 hbase shell 2、查看帮助命令 hbase(main):001:0> help 3、查看当前数据库中的表 list 4、创建一张表 创建user表 包含info、data两个列 阅读全文

摘要： archive.cloudera.com/cdh5/cdh/5/ 在此网页中下载相关的包 这里是三台服务器 注意事项：HBase强依赖zookeeper和hadoop，安装HBase之前一定要保证zookeeper和hadoop启动成功，且服务正常运行 一、压缩包上传并解压 将我们的压缩包上传到ha 阅读全文

摘要： 一、基本介绍 hbase是一个nosql的列式存储的数据库，实际来源于google发表的论文bigtable。构建于hdfs基础之上。 提供高可靠性、高性能、列存储、可伸缩、实时读写nosql的数据库系统 按照key-value的形式进行数据的存储：rowkey（行键），通过rowkey进行数据的检 阅读全文

摘要： 一、编译环境的准备（资源链接如下） https://pan.baidu.com/s/1GoOW30RGR1B21JkuKdHFdA 准备linux环境 准备一台linux环境，内存4g或以上，硬盘40g或以上，这里使用的是Centos6.9 64位的操作系统（ 注意：一定要使用 64 位的操作系统） 阅读全文

摘要： 一、介绍 01) 分布式协调服务的开源框架,主要解决分布式集群中应用系统间的一致性问题. 02) 小文件的存储系统(数据存放在内存中,数据量有大小限制), 以树形结构进行组织数据 03) 可以维护和监控数据状态的变化,通过监控数据状态的变化,达到分布式系统中集群管理的效果. 04) 分布式程序: 可 阅读全文

摘要： 一、azkaban sqoop基本介绍 azkaban的介绍 azkaban web server : 提供一个web的UI管理界面: 创建项目, 执行任务, 监控任务流程,, azkaban executor server: 执行器, 用来执行web ui提交的工作流的任务 mysql数据库: 存 阅读全文

摘要： 一、hdfs的调度 1) 创建job描述文件 -- hdfs.sh #!/bin/bash /export/servers/hadoop-2.6.0-cdh5.14.0/bin/hadoop fs -mkdir /azaz666 -- fs.job type=command command=sh h 阅读全文

摘要： 一、solo server mode 该模式中webserver和executorsrever运行在同一进程中，进程名是AzkabanSingleServer，使用自带的H2数据库，这种模式包含Azkaban的所有特性，但一般用来学习和测试 1.1节点规划 HOST 角色 hadoop01 Web 阅读全文

摘要： 一、Hive 窗口函数（OLAP函数\分析函数） 窗口函数最重要的关键字是 partition by 和 order by 具体用法如下：over （parttion by xxx order by xxx） 1、SUM、AVG、MIN、MAX 数据： cookie1,2018-04-10,1 co 阅读全文

摘要： 一、Flume基本介绍 1.1 什么是flume 说白了flume就是一个采集数据的软件，是cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的软件； flume的核心就是把数据从数据源（source）收集过来，为了保证传输的成功性，会先缓存数据（channel），待数据 阅读全文