上一页 1 2 3 4 5 6 7 8 ··· 69 下一页

2022年4月17日

|NO.Z.00005|——————————|Deployment|——|Hadoop&Spark环境部署.v05|——|Hadoop.v05|rsync-script脚本编写|

摘要: 一、分发配置:rsync-script命令详解 ### 编写集群分发脚本rsync-script ~~~ rsync 远程同步工具 ~~~ rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。 ~~~ rsync和scp区别:用rsync做文件的复制要比scp的速度快,r 阅读全文

posted @ 2022-04-17 16:01 yanqi_vip 阅读(11) 评论(0) 推荐(0)

|NO.Z.00003|——————————|Deployment|——|Hadoop&Spark环境部署.v03|——|Hadoop.v03|环境变量配置|

摘要: 一、集群规划 hadoop1 hadoop2 hadoop3 NameNode √ SecondaryNameNode √ DataNode √ √ √ ResourceManager √ DataManager √ √ √ Hive √ √ √ HiveServer2 √ 二、HDFS和YARN集 阅读全文

posted @ 2022-04-17 16:01 yanqi_vip 阅读(20) 评论(0) 推荐(0)

|NO.Z.00002|——————————|Deployment|——|Hadoop&Spark环境部署.v02|——|Hadoop.v02|虚拟机环境准备|

摘要: 一、Apache Hadoop 完全分布式集群搭建 ### 软件和操作系统版本 ~~~ Hadoop框架是采用Java语言编写,需要java环境(jvm) ~~~ JDK版本:JDK8版本 ### 集群: ~~~ 知识点学习:统一使用vmware虚拟机虚拟五台linux节点,linux操作系统:Ce 阅读全文

posted @ 2022-04-17 16:00 yanqi_vip 阅读(22) 评论(0) 推荐(0)

|NO.Z.00000|——————————|Deployment|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 15:59 yanqi_vip 阅读(6) 评论(0) 推荐(0)

|NO.Z.00001|——————————|Deployment|——|Hadoop&Spark环境部署.v01|——|Hadoop.v01|基础环境配置|

摘要: 一、配置环境规划 ### vmware、linux版本 ~~~ vmware版本:VMware-workstation-full-15.5.5-16285975.exe ~~~ Linux版本:CentOS-7-x86_64-DVD-1810.iso ### Linux主机配置参数 ~~~ CPU: 阅读全文

posted @ 2022-04-17 15:59 yanqi_vip 阅读(13) 评论(0) 推荐(0)

|NO.R.00009|——————————|Navigation|————|服务启动导航.v04|————|Redis.v01|环境部署|

摘要: 一、Redis单机版安装和使用 ### 安装C 语言需要的GCC 环境 [root@hadoop ~]# yum install -y gcc-c++ [root@hadoop ~]# yum install -y wget ### 下载并解压缩Redis 源码压缩包 [root@hadoop so 阅读全文

posted @ 2022-04-17 15:58 yanqi_vip 阅读(12) 评论(0) 推荐(0)

|NO.R.10000|——————————|Navigation|~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 15:58 yanqi_vip 阅读(7) 评论(0) 推荐(0)

|NO.R.00007|——————————|Navigation|————|服务启动导航.v02|————|ZookeeperKafka.v02|集群环境搭建|

摘要: 一、集群搭建:搭建设计 ### 分配三台Linux,用于安装拥有三个节点的Kafka集群。 Hadoop01 192.168.1.111 Hadoop02 192.168.1.122 Hadoop03 192.168.1.133 一、部署kafka集群:配置hosts文件 ### 以上三台主机的/e 阅读全文

posted @ 2022-04-17 15:57 yanqi_vip 阅读(20) 评论(0) 推荐(0)

|NO.R.00008|——————————|Navigation|————|服务启动导航.v03|————|KafkaEagle.v03|环境部署|

摘要: 一、部署kafka-eagle:开启kafka节点的JMX ### 下载并解压kafka-eagle部署包 ~~~ # 下载编译好的包 [root@hadoop01 software]# wget http://pkgs-linux.cvimer.com/kafka-eagle.zip [root@ 阅读全文

posted @ 2022-04-17 15:57 yanqi_vip 阅读(41) 评论(0) 推荐(0)

|NO.R.00005|——————————|Navigation|~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 15:56 yanqi_vip 阅读(10) 评论(0) 推荐(0)

|NO.R.00006|——————————|Navigation|————|服务启动导航.v01|————|ZookeeperKafka.v01|服务启动导航|

摘要: 一、zookeeper集群启动 ### zookeeper集群启动 ~~~ # 在三台Linux上启动Zookeeper [root@hadoop01 ~]# zkServer.sh start [root@hadoop02 ~]# zkServer.sh start [root@hadoop03 阅读全文

posted @ 2022-04-17 15:56 yanqi_vip 阅读(35) 评论(0) 推荐(0)

|NO.R.00003|——————————|Navigation|————|服务启动导航.v03|————|zookeeper.v01|集群部署|

摘要: 一、Zookeeper环境搭建:HA模式 ### 下载并解版本包 [root@hadoop02 ~]# ls /opt/yanqi/software/zookeeper-3.4.14.tar.gz /opt/yanqi/software/zookeeper-3.4.14.tar.gz [root@h 阅读全文

posted @ 2022-04-17 15:55 yanqi_vip 阅读(14) 评论(0) 推荐(0)

|NO.R.00004|——————————|Navigation|————|服务启动导航.v04|————|服务启动导航.v01|内存级快速计算引擎spark|

摘要: 一、PB级别企业电商离线仓库:部署规划 IP地址 主机名 第一台机器 192.168.1.121 Hadoop01 第二台机器 192.168.1.122 Hadoop02 第三台机器 192.168.1.123 Hadoop03 ### 软件选型 ~~~ 数据采集:DataX、Flume、Sqoo 阅读全文

posted @ 2022-04-17 15:55 yanqi_vip 阅读(29) 评论(0) 推荐(0)

|NO.R.00001|——————————|Navigation|————|服务启动导航.v01|————|NTP.v01|时间同步服务器配置:方案一|

摘要: 一、配置主机时间同步: ### 查看当前服务端和客户端版本一致 [root@localhost ~]# cat /etc/redhat-release CentOS Linux release 7.6.1810 (Core) 二、ntp.server端配置:hadoop01 ### 进行外网时间同步 阅读全文

posted @ 2022-04-17 15:54 yanqi_vip 阅读(22) 评论(0) 推荐(0)

|NO.R.00002|——————————|Navigation|————|服务启动导航.v02|————|NTP.v02|时间同步服务器配置:方案二|

摘要: 一、安装ntp服务 ### 安装ntp服务 ~~~ # hadoop01、hadoop02、hadoop03安装ntp服务: [root@hadoop01 ~]# yum -y install ntp ### 配置文件修改 ~~~ # 修改ntp.conf配置文件:hadoop01、hadoop02 阅读全文

posted @ 2022-04-17 15:54 yanqi_vip 阅读(12) 评论(0) 推荐(0)

|NO.R.00000|——————————|Navigation|~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 15:53 yanqi_vip 阅读(7) 评论(0) 推荐(0)

|NO.Z.00013|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v13|——|EbProject.v13|可视化&grafana可视化实时redis数据.V8|

摘要: 一、安装grafana-redis插件 ### 安装grafanan-redis插件 ~~~ # 安装grafana-redis插件 [root@hadoop00 ~]# /opt/yanqi/servers/grafana/bin/grafana-cli plugins install redis 阅读全文

posted @ 2022-04-17 15:52 yanqi_vip 阅读(38) 评论(0) 推荐(0)

|NO.Z.00014|——————————|Deployment|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 15:52 yanqi_vip 阅读(16) 评论(0) 推荐(0)

|NO.Z.10000|——————————|Deployment|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 15:52 yanqi_vip 阅读(12) 评论(0) 推荐(0)

|NO.Z.00012|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v12|——|EbProject.v12|可视化&grafana可视化flink指标.V7|

摘要: 一、在prometheus下添加数据源 ### 配置数据源流程 ~~~ ——>http://hadoop00:3000——>Configuration——>Data Sources——> ~~~ ——>Add data source——>Prometheus——> ~~~ ——>Name:prome 阅读全文

posted @ 2022-04-17 15:51 yanqi_vip 阅读(30) 评论(0) 推荐(0)

|NO.Z.00010|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v10|——|EbProject.v10|可视化&Flink配置.V5|

摘要: 一、修改flink配置,开放flink被监控端口 ### 把prometheus的jar包复制到flink的lib目录下 ~~~ # 把prometheus的jar包复制到flink的lib目录下 ~~~ # prometheus的jar包的地址在flink的plugin目录下:/opt/yanqi 阅读全文

posted @ 2022-04-17 15:50 yanqi_vip 阅读(43) 评论(0) 推荐(0)

|NO.Z.00011|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v11|——|EbProject.v11|可视化&grafana部署.V6|

摘要: 一、通过grafana工具监控,可视化效果友好: ### 下载grafana版本 ~~~ # 下载grafana版本包 [root@hadoop00 software]# wget -c https://dl.grafana.com/oss/release/grafana-7.3.1.linux-a 阅读全文

posted @ 2022-04-17 15:50 yanqi_vip 阅读(29) 评论(0) 推荐(0)

|NO.Z.00008|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v08|——|EbProject.v08|可视化&node_exporter部署.V3|

摘要: 一、部署prometheus-exporter ### 在系统层用作系统监控exporter ~~~ # 下载exporter版本包,主机是centos系统;因此用的监控export是node_exporter-0.16.0.linux-amd64.tar.gz , [root@hadoop00 s 阅读全文

posted @ 2022-04-17 15:49 yanqi_vip 阅读(28) 评论(0) 推荐(0)

|NO.Z.00009|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v09|——|EbProject.v09|可视化&pushgateway部署.V4|

摘要: 一、部署pushgateway: ### pushgateway ~~~ Pushgateway 是 Prometheus 生态中一个重要工具,使用它的原因主要是: ~~~ Prometheus 采用 pull 模式,可能由于不在一个子网或者防火墙原因, ~~~ 导致 Prometheus 无法直接 阅读全文

posted @ 2022-04-17 15:49 yanqi_vip 阅读(27) 评论(0) 推荐(0)

|NO.Z.00006|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v06|——|EbProject.v06|可视化&Prometheus部署.V1|

摘要: 一、系统实时监控&可视化 ### 普罗米修斯Prometheus ~~~ # 功能:在业务层用作埋点系统 ~~~ Prometheus支持多种语言(Go,java,python,ruby官方提供客户端, ~~~ 其他语言有第三方开源客户端)。我们可以通过客户端方便的对核心业务进行埋点。 ~~~ 如下 阅读全文

posted @ 2022-04-17 15:48 yanqi_vip 阅读(41) 评论(0) 推荐(0)

|NO.Z.00007|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v07|——|EbProject.v07|可视化&Prometheus部署.V2|

摘要: 一、prometheus部署:安装go语言环境 ### 下载版本包并解压 ~~~ # 由于Prometheus 是用golang开发的,所以首先安装一个go环境,Go语言是跨平台,支持Windows、Linux、 ~~~ # Windows :go1.8.3.windows-amd64.msi (7 阅读全文

posted @ 2022-04-17 15:48 yanqi_vip 阅读(58) 评论(0) 推荐(0)

|NO.Z.00003|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v03|——|EbProject.v03|canal部署&Canal部署|

摘要: 一、Canal 安装说明 ### 单机模式,也可以将Canal搭建集群模式。 ~~~ 如果要搭建集群模式,可将Canal目录分发给其他虚拟机,然后在各节点中分别启动Canal。 ~~~ 这种Zookeeper为观察者监控的模式, ~~~ 只能实现高可用,而不是负载均衡, ~~~ 即同一时间点只有一个 阅读全文

posted @ 2022-04-17 15:47 yanqi_vip 阅读(37) 评论(0) 推荐(0)

|NO.Z.00004|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v04|——|EbProject.v04|canal部署&kafka客户端测试|

摘要: 一、Kafka客户端测试 ### 启动相关服务 ~~~ # 启动zookeeper服务 [root@hadoop01 ~]# ./zk.sh start ~~~ # 启动kafka服务 [root@hadoop01 ~]# kafka-server-start.sh -daemon /opt/yan 阅读全文

posted @ 2022-04-17 15:47 yanqi_vip 阅读(26) 评论(0) 推荐(0)

|NO.Z.00005|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v05|——|EbProject.v05|Flume配置&Flume配置|

摘要: 一、Flume配置文件: ### flume配置文件:event-conf.properties ~~~ # 写入Flume配置文件:event-conf.properties [root@hadoop02 ~]# vim /opt/yanqi/servers/flume-1.9.0/conf/ev 阅读全文

posted @ 2022-04-17 15:47 yanqi_vip 阅读(17) 评论(0) 推荐(0)

|NO.Z.00001|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v01|——|EbProject.v01|业务数据库表结构|

摘要: 一、业务数据库表结构 ### 业务数据库:数据源 ~~~ 交易订单表(yanqi_trade_orders) ~~~ 订单产品表(yanqi_order_product) ~~~ 产品信息表(yanqi_product_info) ~~~ 产品分类表(yanqi_product_category) 阅读全文

posted @ 2022-04-17 15:46 yanqi_vip 阅读(47) 评论(0) 推荐(0)

|NO.Z.00002|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v02|——|EbProject.v02|canal部署&配置MySQL的binlog|

摘要: 一、配置MySQL的binlog ### 常见的binlog命令 ~~~ # 是否启用binlog日志 mysql> show variables like 'log_bin'; + + + | Variable_name | Value | + + + | log_bin | ON | + + + 阅读全文

posted @ 2022-04-17 15:46 yanqi_vip 阅读(19) 评论(0) 推荐(0)

|NO.Z.00000|——————————|Deployment|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 15:45 yanqi_vip 阅读(18) 评论(0) 推荐(0)

|NO.Z.10000|——————————|Deployment|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 15:44 yanqi_vip 阅读(14) 评论(0) 推荐(0)

|NO.Z.00025|——————————|^^ 修订 ^^|——|Hadoop&PB级离线数仓.v04|——|Griffin.v04|数据可视化|

摘要: 一、数据可视化 ### 数据可视化 ~~~ ADS => DataX => MySQL => 浏览器呈现 ~~~ 对统计数据进行展示一般都是以图、表方式呈现; ~~~ 常见方式有 ECharts、HighCharts、G2、Chart.js 、FineBI等。 ~~~ 本项目使用SSM(Spring 阅读全文

posted @ 2022-04-17 15:43 yanqi_vip 阅读(28) 评论(0) 推荐(0)

|NO.Z.00026|——————————|Deployment|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 15:43 yanqi_vip 阅读(10) 评论(0) 推荐(0)

|NO.Z.00023|——————————|^^ 部署 ^^|——|Hadoop&PB级离线数仓.v02|——|Griffin.v02|Griffin部署|

摘要: 一、Griffin编译准备 ### 软件解压缩 [root@hadoop02 ~]# ls /opt/yanqi/software/griffin-griffin-0.5.0.zip /opt/yanqi/software/griffin-griffin-0.5.0.zip [root@hadoop 阅读全文

posted @ 2022-04-17 15:42 yanqi_vip 阅读(64) 评论(0) 推荐(0)

|NO.Z.00024|——————————|^^ 修订 ^^|——|Hadoop&PB级离线数仓.v03|——|Griffin.v03|数据质量监控|

摘要: 一、与电商业务集成 ### 数据资产:单击右上角的 DataAssets 来检查数据资产 ~~~ 这里的数据数据资产主要是保存在Hive上的表,要求 Hive Metastore 服务正常 ### 创建 measure ~~~ 如果要测量源和目标之间的匹配率,请选择 Accuracy(精确度验证) 阅读全文

posted @ 2022-04-17 15:42 yanqi_vip 阅读(33) 评论(0) 推荐(0)

|NO.Z.00022|——————————|^^ 修订 ^^|——|Hadoop&PB级离线数仓.v01|——|Griffin.v01|Griffin部署&spark&livy&ES|

摘要: 一、安装概述 ### 相关依赖:重点讲解 Griffin,不对依赖组件做过多讲解,所有组件均采用单机模式安装。 ~~~ JDK (1.8 or later versions) ~~~ MySQL(version 5.6及以上) ~~~ Hadoop (2.6.0 or later) ~~~ Hive 阅读全文

posted @ 2022-04-17 15:41 yanqi_vip 阅读(24) 评论(0) 推荐(0)

|NO.Z.00021|——————————|Deployment|——|Hadoop&PB级离线数仓.v03|——|Atlas.v03|Atlas与电商业务集成|血缘关系|

摘要: 一、与电商业务集成 ### 电商业务集成环境准备 ~~~ 开发(建库、建表) => 导入数据 => 执行Hive脚本 ~~~ 导入Hive的血缘关系 二、电商业务建表 ### 电商业务建表语句(可省略): ~~~ # 创建DataBases; CREATE DATABASE ODS; CREATE 阅读全文

posted @ 2022-04-17 15:41 yanqi_vip 阅读(43) 评论(0) 推荐(0)

|NO.Z.00020|——————————|Deployment|——|Hadoop&PB级离线数仓.v02|——|Atlas.v02|Hive血缘关系导入|

摘要: 一、Hive血缘关系导入 ### 配置HIVE_HOME环境变量; ~~~ 将atlas服务下atlas-application.properties配置文件拷贝到hive服务目录下 ~~~ # 创建软连接: ~~~ 将 $ATLAS_HOME/conf/atlasapplication.prope 阅读全文

posted @ 2022-04-17 15:40 yanqi_vip 阅读(21) 评论(0) 推荐(0)

上一页 1 2 3 4 5 6 7 8 ··· 69 下一页

导航