摘要： 一、分发配置：rsync-script命令详解 ### 编写集群分发脚本rsync-script ~~~ rsync 远程同步工具 ~~~ rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。 ~~~ rsync和scp区别：用rsync做文件的复制要比scp的速度快，r 阅读全文

摘要： 一、集群规划 hadoop1 hadoop2 hadoop3 NameNode √ SecondaryNameNode √ DataNode √ √ √ ResourceManager √ DataManager √ √ √ Hive √ √ √ HiveServer2 √ 二、HDFS和YARN集 阅读全文

摘要： 一、Apache Hadoop 完全分布式集群搭建 ### 软件和操作系统版本 ~~~ Hadoop框架是采用Java语言编写，需要java环境（jvm） ~~~ JDK版本：JDK8版本 ### 集群： ~~~ 知识点学习：统一使用vmware虚拟机虚拟五台linux节点，linux操作系统：Ce 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、配置环境规划 ### vmware、linux版本 ~~~ vmware版本：VMware-workstation-full-15.5.5-16285975.exe ~~~ Linux版本：CentOS-7-x86_64-DVD-1810.iso ### Linux主机配置参数 ~~~ CPU： 阅读全文

摘要： 一、Redis单机版安装和使用 ### 安装C 语言需要的GCC 环境 [root@hadoop ~]# yum install -y gcc-c++ [root@hadoop ~]# yum install -y wget ### 下载并解压缩Redis 源码压缩包 [root@hadoop so 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、集群搭建：搭建设计 ### 分配三台Linux，用于安装拥有三个节点的Kafka集群。 Hadoop01 192.168.1.111 Hadoop02 192.168.1.122 Hadoop03 192.168.1.133 一、部署kafka集群：配置hosts文件 ### 以上三台主机的/e 阅读全文

摘要： 一、部署kafka-eagle：开启kafka节点的JMX ### 下载并解压kafka-eagle部署包 ~~~ # 下载编译好的包 [root@hadoop01 software]# wget http://pkgs-linux.cvimer.com/kafka-eagle.zip [root@ 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、zookeeper集群启动 ### zookeeper集群启动 ~~~ # 在三台Linux上启动Zookeeper [root@hadoop01 ~]# zkServer.sh start [root@hadoop02 ~]# zkServer.sh start [root@hadoop03 阅读全文

摘要： 一、Zookeeper环境搭建：HA模式 ### 下载并解版本包 [root@hadoop02 ~]# ls /opt/yanqi/software/zookeeper-3.4.14.tar.gz /opt/yanqi/software/zookeeper-3.4.14.tar.gz [root@h 阅读全文

摘要： 一、PB级别企业电商离线仓库：部署规划 IP地址 主机名 第一台机器 192.168.1.121 Hadoop01 第二台机器 192.168.1.122 Hadoop02 第三台机器 192.168.1.123 Hadoop03 ### 软件选型 ~~~ 数据采集：DataX、Flume、Sqoo 阅读全文

摘要： 一、配置主机时间同步： ### 查看当前服务端和客户端版本一致 [root@localhost ~]# cat /etc/redhat-release CentOS Linux release 7.6.1810 (Core) 二、ntp.server端配置：hadoop01 ### 进行外网时间同步 阅读全文

摘要： 一、安装ntp服务 ### 安装ntp服务 ~~~ # hadoop01、hadoop02、hadoop03安装ntp服务： [root@hadoop01 ~]# yum -y install ntp ### 配置文件修改 ~~~ # 修改ntp.conf配置文件：hadoop01、hadoop02 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、安装grafana-redis插件 ### 安装grafanan-redis插件 ~~~ # 安装grafana-redis插件 [root@hadoop00 ~]# /opt/yanqi/servers/grafana/bin/grafana-cli plugins install redis 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、在prometheus下添加数据源 ### 配置数据源流程 ~~~ ——>http://hadoop00:3000——>Configuration——>Data Sources——> ~~~ ——>Add data source——>Prometheus——> ~~~ ——>Name：prome 阅读全文

摘要： 一、修改flink配置，开放flink被监控端口 ### 把prometheus的jar包复制到flink的lib目录下 ~~~ # 把prometheus的jar包复制到flink的lib目录下 ~~~ # prometheus的jar包的地址在flink的plugin目录下：/opt/yanqi 阅读全文

摘要： 一、通过grafana工具监控，可视化效果友好： ### 下载grafana版本 ~~~ # 下载grafana版本包 [root@hadoop00 software]# wget -c https://dl.grafana.com/oss/release/grafana-7.3.1.linux-a 阅读全文

摘要： 一、部署prometheus-exporter ### 在系统层用作系统监控exporter ~~~ # 下载exporter版本包，主机是centos系统；因此用的监控export是node_exporter-0.16.0.linux-amd64.tar.gz ， [root@hadoop00 s 阅读全文

摘要： 一、部署pushgateway: ### pushgateway ~~~ Pushgateway 是 Prometheus 生态中一个重要工具，使用它的原因主要是： ~~~ Prometheus 采用 pull 模式，可能由于不在一个子网或者防火墙原因， ~~~ 导致 Prometheus 无法直接 阅读全文

摘要： 一、系统实时监控&可视化 ### 普罗米修斯Prometheus ~~~ # 功能：在业务层用作埋点系统 ~~~ Prometheus支持多种语言（Go，java，python，ruby官方提供客户端， ~~~ 其他语言有第三方开源客户端）。我们可以通过客户端方便的对核心业务进行埋点。 ~~~ 如下 阅读全文

摘要： 一、prometheus部署：安装go语言环境 ### 下载版本包并解压 ~~~ # 由于Prometheus 是用golang开发的，所以首先安装一个go环境，Go语言是跨平台，支持Windows、Linux、 ~~~ # Windows ：go1.8.3.windows-amd64.msi (7 阅读全文

摘要： 一、Canal 安装说明 ### 单机模式，也可以将Canal搭建集群模式。 ~~~ 如果要搭建集群模式，可将Canal目录分发给其他虚拟机，然后在各节点中分别启动Canal。 ~~~ 这种Zookeeper为观察者监控的模式， ~~~ 只能实现高可用，而不是负载均衡， ~~~ 即同一时间点只有一个 阅读全文

摘要： 一、Kafka客户端测试 ### 启动相关服务 ~~~ # 启动zookeeper服务 [root@hadoop01 ~]# ./zk.sh start ~~~ # 启动kafka服务 [root@hadoop01 ~]# kafka-server-start.sh -daemon /opt/yan 阅读全文

摘要： 一、Flume配置文件： ### flume配置文件：event-conf.properties ~~~ # 写入Flume配置文件：event-conf.properties [root@hadoop02 ~]# vim /opt/yanqi/servers/flume-1.9.0/conf/ev 阅读全文

摘要： 一、业务数据库表结构 ### 业务数据库：数据源 ~~~ 交易订单表（yanqi_trade_orders） ~~~ 订单产品表（yanqi_order_product） ~~~ 产品信息表（yanqi_product_info） ~~~ 产品分类表（yanqi_product_category） 阅读全文

摘要： 一、配置MySQL的binlog ### 常见的binlog命令 ~~~ # 是否启用binlog日志 mysql> show variables like 'log_bin'; + + + | Variable_name | Value | + + + | log_bin | ON | + + + 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、数据可视化 ### 数据可视化 ~~~ ADS => DataX => MySQL => 浏览器呈现 ~~~ 对统计数据进行展示一般都是以图、表方式呈现； ~~~ 常见方式有 ECharts、HighCharts、G2、Chart.js 、FineBI等。 ~~~ 本项目使用SSM（Spring 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、Griffin编译准备 ### 软件解压缩 [root@hadoop02 ~]# ls /opt/yanqi/software/griffin-griffin-0.5.0.zip /opt/yanqi/software/griffin-griffin-0.5.0.zip [root@hadoop 阅读全文

摘要： 一、与电商业务集成 ### 数据资产：单击右上角的 DataAssets 来检查数据资产 ~~~ 这里的数据数据资产主要是保存在Hive上的表，要求 Hive Metastore 服务正常 ### 创建 measure ~~~ 如果要测量源和目标之间的匹配率，请选择 Accuracy（精确度验证） 阅读全文

摘要： 一、安装概述 ### 相关依赖：重点讲解 Griffin，不对依赖组件做过多讲解，所有组件均采用单机模式安装。 ~~~ JDK (1.8 or later versions) ~~~ MySQL(version 5.6及以上) ~~~ Hadoop (2.6.0 or later) ~~~ Hive 阅读全文

摘要： 一、与电商业务集成 ### 电商业务集成环境准备 ~~~ 开发（建库、建表） => 导入数据 => 执行Hive脚本 ~~~ 导入Hive的血缘关系 二、电商业务建表 ### 电商业务建表语句（可省略）： ~~~ # 创建DataBases; CREATE DATABASE ODS; CREATE 阅读全文

摘要： 一、Hive血缘关系导入 ### 配置HIVE_HOME环境变量； ~~~ 将atlas服务下atlas-application.properties配置文件拷贝到hive服务目录下 ~~~ # 创建软连接： ~~~ 将 $ATLAS_HOME/conf/atlasapplication.prope 阅读全文