06 2021 档案
摘要：1、启动kafka集群和zookeeper集群 启动zookeeper集群 [hadoop@hadoop01 bin]zk.sh start 启动kafka集群 [hadoop@hadoop01 bin]kafka.sh start 2、创建topic [hadoop@hadoop01 ~]kafk
阅读全文
摘要：脚本位置 cd /home/hadoop/bin 脚本内容 vi kafka.sh #输入以下内容 #!/bin/bash case $1 in "start" ){ for(( i = 1;i <= 3;i = $i +1));do echo hadoop0$i kafka $1 ssh hado
阅读全文
摘要：1、创建topic 使用 kafka-topics.sh脚本 kafka-topics.sh --create --partitions 3 --replication-factor 2 --topic test --zookeeper hadoop01:2181,hadoop02:2181,had
阅读全文
摘要：1 集群安装部署 1、下载安装包（http://kafka.apache.org） https://archive.apache.org/dist/kafka/1.1.0/kafka_2.11-1.1.0.tgz kafka_2.11-1.1.0.tgz 2、规划安装目录 /bigdata/inst
阅读全文
摘要：1 Kafka简介 Kafka是最初由Linkedin公司开发，它是一个分布式、可分区、多副本，基于zookeeper协调的分布式日志系统；常见可以用于web/nginx日志、访问日志，消息服务等等。Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。主要应用场景是：日志收集
阅读全文
摘要：1、下载对应版本的安装包 地址：https://github.com/zendesk/maxwell/releases/download/v1.21.1/maxwell-1.21.1.tar.gz 安装包名称：maxwell-1.21.1.tar.gz 2、上传服务器，这里我们选择在hadoop03
阅读全文
摘要：1、Maxwell 简介 Maxwell 是一个能实时读取 MySQL 二进制日志文件binlog，并生成 Json格式的消息，作为生产者发送给 Kafka，Kinesis、RabbitMQ、Redis、 Google Cloud Pub/Sub、文件或其它平台的应用程序。它的常见应用场景有ETL、
阅读全文
摘要：需求分析 我们从HDFS上的特定目录下的文件，读取到本地目录下的特定目录下 根据需求，首先定义以下3大要素 数据源组件，即source ——监控HDFS目录文件 : exec 'tail -f' 下沉组件，即sink—— file roll sink 通道组件，即channel——可用file ch
阅读全文
摘要：需求分析： 采集需求：比如业务系统使用log4j生成的日志，日志内容不断增加，需要把追加到日志文件中的数据实时采集到hdfs 根据需求，首先定义以下3大要素 采集源，即source——监控文件内容更新 : exec ‘tail -f file’ 下沉目标，即sink——HDFS文件系统 : hdfs
阅读全文
摘要：需求分析 采集需求：某服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到HDFS中去 结构示意图： 根据需求，首先定义以下3大要素 数据源组件，即source ——监控文件目录 : spooldir spooldir特性： 1、监视一个目录，只要目录中出现新文件，就会采集
阅读全文
摘要：需求：配置我们的网络收集的配置文件；从某socket端口采集数据，采集到的数据打印到console控制台 在flume的conf目录下新建一个配置文件（采集方案） cd /bigdata/install/flume-1.9.0/conf vim netcat-logger.conf 内容如下 # 定
阅读全文
摘要：第一步：下载解压修改配置文件 Flume的安装非常简单，只需要解压即可 上传安装包到数据源所在节点上 这里我们在第三台机器hadoop03来进行安装 cd /bigdata/soft tar -xzvf apache-flume-1.9.0-bin.tar.gz -C /bigdata/instal
阅读全文
摘要：1. 前言 在一个完整的离线大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统， 而这些辅助工具在hadoop生态体系中都有便捷的开源框架，如图所示： 2. Flume基本介绍 1. 概述 Flume是一个分
阅读全文
摘要：需求: 将hdfs上数据文件 user.txt 导入到mysql数据库的user表中。 1、创建作业的配置文件（json格式） 查看配置模板，执行脚本命令 [hadoop@hadoop03 ~]$ cd /bigdata/install/datax [hadoop@hadoop03 datax]$
阅读全文
摘要：需求: 将mysql表student的数据导入到hdfs的 /datax/mysql2hdfs/ 路径下面去。 1、创建mysql数据库和需要用到的表结构，并导入实战案例需要用到的数据 [hadoop@hadoop02 ~] mysql -uroot -p123456 mysql> create d
阅读全文
摘要：安装前置要求 Linux 使用Centos7 JDK ( 1.8 以上 ) Python ( 2.6 以上 ) Centos7 默认安装了Python 2.7 1、访问官网下载安装包 http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax
阅读全文
摘要：1、DataX 基本介绍 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具，致力于实现包括：关系型数据库(MySQL、Oracle等)、HDFS、Hive、HBase、ODPS、FTP等各种异构数据源之间稳定高效的数据同步功能。 设计理念 为了解决异构数据源同步问题，DataX将复杂的网状的
阅读全文
摘要：将数据从HDFS把文件导出到RDBMS数据库 导出前，目标表必须存在于目标数据库中。 默认操作是从将文件中的数据使用INSERT语句插入到表中 更新模式下，是生成UPDATE语句更新表数据 数据是在HDFS当中的如下目录/sqoop/emp，数据内容如下 1201,gopal,manager,500
阅读全文
摘要：1. 列举出所有的数据库 命令行查看帮助 sqoop help 列出hadoop02主机所有的数据库 sqoop list-databases --connect jdbc:mysql://hadoop02:3306/ --username root --password 123456 查看某一个数
阅读全文
摘要：第一步：下载安装包 https://mirrors.bfsu.edu.cn/apache/sqoop/1.4.7 第二步：上传并解压 将我们下载好的安装包上传到hadoop03服务器的/bigdata/soft路径下，然后进行解压 cd /bigdata/soft/ tar -xzvf sqoop-
阅读全文
摘要：1. 概述 Sqoop是apache旗下的一款 ”Hadoop和关系数据库之间传输数据”的工具 导入数据：将MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统 导出数据：从Hadoop的文件系统中导出数据到关系数据库 2. Sqoop的工作机制 将导入和导出
阅读全文
摘要：官方安装指导：https://dolphinscheduler.apache.org/zh-cn/docs/1.3.4/user_doc/quick-start.html 1节点规划 机器 服务 端口 group hadoop01 master、api、logger 8787(master)、888
阅读全文
摘要：1、DolphinScheduler简介 Apache DolphinScheduler](https://dolphinscheduler.apache.org/)（目前处在孵化阶段）是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统， 其致力于解决数据处理流程中错综复杂的依赖关系，使
阅读全文
摘要：我们在上一篇文章中已经安装部署了Azkaban，但是启动的时候要去每个机器上执行一下命令。来回切换机器太麻烦，今天我们输出一个脚本，搞定自动启动停止。 1 登录到hadoop01上，在~/bin 目录下创建一个azkaban.sh脚本 [hadoop@hadoop01 ~] cd bin [hado
阅读全文
摘要：Multiple Executor模式安装 前提：某节点已经安装mysql，此文档以hadoop02已经安装mysql为例 若没有特殊说明，所有操作都是使用hadoop普通用户操作 具体用到的安装包可以在这里下载：https://pan.baidu.com/s/1SfjBBvtyOIQ3-kIKVK
阅读全文
摘要：1.工作流调度器 1.为什么需要工作流调度系统 一个完整的数据分析系统通常都是由大量任务单元组成： shell脚本程序，java程序，mapreduce程序、hive脚本等 各任务单元之间存在时间先后及前后依赖关系 为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行； 例如，我们可
阅读全文
摘要：1.什么是Phoenix Phoenix是一个HBase的开源SQL引擎。你可以使用标准的JDBC API代替HBase客户端API来创建表，插入数据，查询你的HBase数据。 2.Phoenix底层原理 Phoenix框架将命令行上键入的sql语句翻译成hbase指令，然后hbase用翻译好的指令
阅读全文
摘要：Hive提供了与HBase的集成，使得能够在HBase表上使用hive sql 语句进行查询、插入操作以及进行Join和Union等复杂查询，同时也可以将hive表中的数据映射到Hbase中 1 HBase与Hive的对比 1.1 Hive 数据仓库管理系统 Hive的本质其实就相当于将HDFS中已
阅读全文
摘要：集成分析 HBase表中的数据最终都是存储在HDFS上，HBase天生的支持MR的操作，我们可以通过MR直接处理HBase表中的数据， 并且MR可以将处理后的结果直接存储到HBase表中。 参考地址：http://hbase.apache.org/book.html#mapreduce 1 实现方式
阅读全文
摘要：HBase表热点 1 什么是热点 检索habse的记录首先要通过row key来定位数据行。 当大量的client访问hbase集群的一个或少数几个节点，造成少数region server的读/写请求过多、负载过大，而其他region server负载却很小，就造成了“热点”现象。 2 热点的解决方
阅读全文
摘要：Region 分裂 1 region分裂说明 region中存储的是一张表的数据，当region中的数据条数过多的时候，会直接影响查询效率. 当region过大的时候，hbase会将region拆分为两个region , 这也是Hbase的一个优点. 2 Region分裂策略 2.1 Constan
阅读全文
摘要：HBase表的预分区 当一个table刚被创建的时候，Hbase默认的分配一个region给table。也就是说这个时候，所有的读写请求都会访问到同一个regionServer的同一个region中，这个时候就达不到负载均衡的效果了，集群中的其他regionServer就可能会处于比较空闲的状态。
阅读全文
摘要：一个HRegionServer会负责管理很多个region 一个**region**包含很多个store 一个**列族就划分成一个store** 如果一个表中只有1个列族，那么这个表的每一个region中只有一个store 如果一个表中有N个列族，那么这个表的每一个region中有N个store 一
阅读全文
摘要：HBase是一个分布式的NoSql数据库，在实际工作当中，我们一般都可以通过JavaAPI来进行各种数据的操作，包括创建表，以及数据的增删改查等等 1 创建maven工程 讲如下内容作为maven工程中pom.xml的repositories的内容 自动导包 <?xml version="1.0"
阅读全文
摘要：1 status 例如：显示服务器状态 status 'hadoop01' 2 whoami 显示HBase当前用户，例如： whoami 3 list 显示当前所有的表 list 4 count 统计指定表的记录数，例如： count 'user' 5 describe 展示表结构信息 descr
阅读全文
摘要：进入HBase客户端命令操作界面 hadoop1执行以下命令，进入HBase的shell客户端 cd /bigdata/install/hbase-2.2.6/ bin/hbase shell help 帮助命令 help # 查看具体命令的帮助信息 help 'create' list 查看有哪些
阅读全文
摘要：HBASE整体架构如下图 Client客户端 Client是操作HBase集群的入口 对于管理类的操作，如表的增、删、改操纵，Client通过RPC与HMaster通信完成 对于表数据的读写操作，Client通过RPC与RegionServer交互，读写数据 Client类型： HBase shel
阅读全文
浙公网安备 33010602011771号