2022年4月17日

|NO.Z.00012|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v12|——|Kylin.v03|HBase Shell操作|

摘要： 一、HBase shell 基本操作 ### 进入Hbase客户端命令操作界面 ~~~ # 进入hbase客户端 [root@hadoop01 ~]# hbase shell ~~~ # 查看帮助命令 hbase(main):004:0> help ~~~ # 查看当前数据库有哪些表 hbase(m 阅读全文

posted @ 2022-04-17 16:22 yanqi_vip 阅读(35) 评论(0) 推荐(0)

|NO.Z.00009|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v09|——|kudu.v01|部署安装|ntp|

摘要： 一、安装和运行 ### 安装前提和准备 ~~~ # 硬件： ~~~ 一台或者多台机器跑kudu-master。 ~~~ 建议跑一个master(无容错机制)、 ~~~ 三个master(允许一个节点运行出错)或者五个master(允许两个节点出错)。 ~~~ 一台或者多台机器跑kudu-tserve 阅读全文

posted @ 2022-04-17 16:21 yanqi_vip 阅读(44) 评论(0) 推荐(0)

|NO.Z.00010|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v10|——|Kylin.v01|zookeeper&kafka|集群搭建|

摘要： 一、集群搭建：搭建设计 ### 分配三台Linux，用于安装拥有三个节点的Kafka集群。 Hadoop01 192.168.1.121 Hadoop02 192.168.1.122 Hadoop03 192.168.1.123 一、部署kafka集群：配置hosts文件 ### 以上三台主机的/e 阅读全文

posted @ 2022-04-17 16:21 yanqi_vip 阅读(38) 评论(0) 推荐(0)

|NO.Z.00011|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v11|——|Kylin.v02|HBase集群部署|

摘要： 一、HBase集群安装部署 ### 下载安装包 ~~~ # 下载HBase版本包 [root@hadoop01 software]# wget http://archive.apache.org/dist/hbase/1.3.1/hbase-1.3.1-bin.tar.gz ### 解压安装包到指定 阅读全文

posted @ 2022-04-17 16:21 yanqi_vip 阅读(24) 评论(0) 推荐(0)

|NO.Z.00007|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v07|——|ClickHouse.v07|ClickHouse链接kafka|

摘要： 一、ClickHouse链接Kafka ### ClickHouse链接Kafka：此引擎与 Apache Kafka 结合使用。 ~~~ # Kafka 特性： ~~~ 发布或者订阅数据流。 ~~~ 容错存储机制。 ~~~ 处理流数据。 ### 链接语法格式 ~~~ # 老版格式： Kafka(k 阅读全文

posted @ 2022-04-17 16:20 yanqi_vip 阅读(73) 评论(0) 推荐(0)

|NO.Z.00008|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v08|——|ClickHouse.v08|ClickHouse链接JDBC|

摘要： 一、JDBC ### ClickHouse链接JDBC ~~~ 允许CH通过 JDBC 连接到外部数据库。 ~~~ 要实现JDBC连接，CH需要使用以后台进程运行的程序 clickhouse-jdbc-bridge。 ~~~ 该引擎支持 Nullable 数据类型。 ### 建表语法 CREATE 阅读全文

posted @ 2022-04-17 16:20 yanqi_vip 阅读(25) 评论(0) 推荐(0)

|NO.Z.00006|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v06|——|ClickHouse.v06|ClickHouse链接MySQL|

摘要： 一、ClickHouse链接mysql ### mysql说明 ~~~ MySQL 引擎可以对存储在远程 MySQL 服务器上的数据执行 SELECT 查询。 ### 调用格式： MySQL('host:port', 'database', 'table', 'user', 'password'[, 阅读全文

posted @ 2022-04-17 16:19 yanqi_vip 阅读(23) 评论(0) 推荐(0)

|NO.Z.00003|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v03|——|ClickHouse.v03|表引擎|MergeTree|MergeTree存储策略|JBOC策略|

摘要： 一、JBOD策略 ### 配置方式在config.xml配置文件中指定： ~~~ # 在集群主机上config.xml配置JBOD策略 [root@hadoop01 ~]# vim /etc/clickhouse-server/config.xml ~~~ 在config.xml文件最后一行：</y 阅读全文

posted @ 2022-04-17 16:18 yanqi_vip 阅读(63) 评论(0) 推荐(0)

|NO.Z.00004|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v04|——|ClickHouse.v04|表引擎|MergeTree|MergeTree存储策略|HOT/COLD策略|

摘要： 一、HOT/COLD策略 ### 配置方式在config.xml配置文件中指定： ~~~ # 在集群主机上config.xml配置JBOD策略 [root@hadoop01 ~]# vim /etc/clickhouse-server/config.xml ~~~ 在config.xml文件最后一行 阅读全文

posted @ 2022-04-17 16:18 yanqi_vip 阅读(38) 评论(0) 推荐(0)

|NO.Z.00005|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v05|——|ClickHouse.v05|ClickHouse链接HDFS|

摘要： 一、HDFS ### HDFS ~~~ 该引擎提供了集成 Apache Hadoop 生态系统通过允许管理数据 HDFS通过ClickHouse. ~~~ 这个引擎是相似的 到 文件和 URL 引擎，但提供Hadoop特定的功能。 ### 用途 ~~~ 该 URI 参数是HDFS中的整个文件URI。 阅读全文

posted @ 2022-04-17 16:18 yanqi_vip 阅读(26) 评论(0) 推荐(0)

|NO.Z.00002|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v02|——|ClickHouse.v02|表引擎|MergeTree存储策略|默认策略|

摘要： 一、MergeTree存储策略配置 ### 整体配置：配置mergetree存储配置方案 ~~~ 所有主机创建mergetree存储目录 [root@hadoop01 ~]# mkdir -p /var/lib/clickhouse/chbase/colddata [root@hadoop01 ~] 阅读全文

posted @ 2022-04-17 16:17 yanqi_vip 阅读(60) 评论(0) 推荐(0)

|NO.Z.00001|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v01|——|ClickHouse.v01|单击模式|集群模式|

摘要： 一、ClickHouse下载 ### 下载地址 ~~~ 官网：https://clickhouse.yandex/ ~~~ 下载地址：http://repo.red-soft.biz/repos/clickhouse/stable/el6/ 二、ClickHouse单击模式安装 ### 单机模式：h 阅读全文

posted @ 2022-04-17 16:16 yanqi_vip 阅读(36) 评论(0) 推荐(0)

|NO.R.10000|——————————|Navigation|~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 16:15 yanqi_vip 阅读(12) 评论(0) 推荐(0)

|NO.Z.00000|——————————|Deployment|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 16:15 yanqi_vip 阅读(8) 评论(0) 推荐(0)

|NO.R.00004|——————————|Navigation|————|服务启动导航.v04|————|NTP.v04|时间同步服务器配置：方案二|

摘要： 一、安装ntp服务 ### 安装ntp服务 ~~~ # hadoop01、hadoop02、hadoop03安装ntp服务： [root@hadoop01 ~]# yum -y install ntp ### 配置文件修改 ~~~ # 修改ntp.conf配置文件：hadoop01、hadoop02 阅读全文

posted @ 2022-04-17 16:15 yanqi_vip 阅读(35) 评论(0) 推荐(0)

|NO.R.00002|——————————|Navigation|————|服务启动导航.v02|————|Hadoop.v02|yarn调整map&reduce参数.v02|

摘要： 附录一：Mapreduce内存参数调整一： ### 在mapreduce配置文件下配置 [root@hadoop02 ~]# vim /opt/yanqi/servers/hadoop-2.9.2/etc/hadoop/mapred-site.xml <!-- 设置map、reduce合理内存参数 阅读全文

posted @ 2022-04-17 16:14 yanqi_vip 阅读(34) 评论(0) 推荐(0)

|NO.R.00003|——————————|Navigation|————|服务启动导航.v03|————|zookeeper.v03|集群搭建|

摘要： 一、Zookeeper环境搭建：HA模式 ### 下载并解版本包 [root@hadoop02 ~]# ls /opt/yanqi/software/zookeeper-3.4.14.tar.gz /opt/yanqi/software/zookeeper-3.4.14.tar.gz [root@h 阅读全文

posted @ 2022-04-17 16:14 yanqi_vip 阅读(34) 评论(0) 推荐(0)

|NO.R.00001|——————————|Navigation|————|服务启动导航.v01|————|Hadoop.v01|yarn调整map&reduce参数.v01|

摘要： 附录一：报错处理一： ### 报错现象： ~~~ 卡在这个位置不会动，数据没有加载 ~~~ 在执行这个的时候，把history打开，用于监控错误信息 [root@hadoop02 ~]# sh $SCRIPT_HOME/dwd_load_startlog.sh 2020-07-21 Cannot r 阅读全文

posted @ 2022-04-17 16:13 yanqi_vip 阅读(42) 评论(0) 推荐(0)

|NO.R.00000|——————————|Navigation|~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 16:12 yanqi_vip 阅读(12) 评论(0) 推荐(0)

|NO.Z.10000|——————————|Deployment|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 16:11 yanqi_vip 阅读(19) 评论(0) 推荐(0)

|NO.Z.00006|——————————|Deployment|——|Hadoop&Flink计算领域锋利的武器.v06|——|Flink.v03|Yarn模式部署|yarn session方式启动|

摘要： 一、Flink.Yarn模式部署 ### 启动一个YARN session(Start a long-running Flink cluster on YARN)； ~~~ 方式一：yarn session启动 ~~~ 方式二：per job方式启动 二、YARN Session方式：Flink.y 阅读全文

posted @ 2022-04-17 16:11 yanqi_vip 阅读(89) 评论(0) 推荐(0)

|NO.Z.00007|——————————|Deployment|——|Hadoop&Flink计算领域锋利的武器.v07|——|Flink.v04|Yarn模式部署|yarn session方式启动|

摘要： 一、方式一：Per job方式 ### 方式一：Per job方式 ~~~ 直接在YARN上提交运行Flink作业(Run a Flink job on YARN) ~~~ Per job启动流程 二、Per job方式启动实例 ### 启动一个应用实例 ### 在yarn-cluster-UI下查 阅读全文

posted @ 2022-04-17 16:11 yanqi_vip 阅读(33) 评论(0) 推荐(0)

|NO.Z.00005|——————————|Deployment|——|Hadoop&Flink计算领域锋利的武器.v05|——|Flink.v02|StandAlone模式测试|

摘要： 一、在IDEA下导入打jar插件 ### 将WordCountScalaStream打成jar包 ~~~ 注意：集群搭建完毕后，Flink程序就可以打成Jar， ~~~ 在集群环境下类似于Step7中一样提交执行计算任务打jar包插件： ~~~ 该插件可以把包含所有的Flink程序需要的所有的依赖文 阅读全文

posted @ 2022-04-17 16:10 yanqi_vip 阅读(19) 评论(0) 推荐(0)

|NO.Z.00003|——————————|Deployment|——|Hadoop&Flink计算领域锋利的武器.v03|——|Redis.v01|环境部署|

摘要： 一、Redis单机版安装和使用 ### 安装C 语言需要的GCC 环境 [root@hadoop ~]# yum install -y gcc-c++ [root@hadoop ~]# yum install -y wget ### 下载并解压缩Redis 源码压缩包 [root@hadoop so 阅读全文

posted @ 2022-04-17 16:09 yanqi_vip 阅读(14) 评论(0) 推荐(0)

|NO.Z.00004|——————————|Deployment|——|Hadoop&Flink计算领域锋利的武器.v04|——|Flink.v01|StandAlone模式部署|

摘要： 一、Flink安装和部署 ### Flink支持多种安装模式 ~~~ local（本地）：单机模式，一般本地开发调试使用 ~~~ StandAlone 独立模式：Flink自带集群，自己管理资源调度，生产环境也会有所应用 ~~~ Yarn模式：计算资源统一由Hadoop YARN管理，生产环境应用较 阅读全文

posted @ 2022-04-17 16:09 yanqi_vip 阅读(86) 评论(0) 推荐(0)

|NO.Z.00001|——————————|Deployment|——|Hadoop&Flink计算领域锋利的武器.v01|——|ZookeeperKafka.v01|环境部署|

摘要： 一、集群搭建：搭建设计 ### 分配三台Linux，用于安装拥有三个节点的Kafka集群。 Hadoop01 192.168.1.121 Hadoop02 192.168.1.122 Hadoop03 192.168.1.123 一、部署kafka集群：配置hosts文件 ### 以上三台主机的/e 阅读全文

posted @ 2022-04-17 16:08 yanqi_vip 阅读(43) 评论(0) 推荐(0)

|NO.Z.00002|——————————|Deployment|——|Hadoop&Flink计算领域锋利的武器.v02|——|KafkaEagle.v01|监控工具|环境部署|

摘要： 一、部署kafka-eagle：开启kafka节点的JMX ### 下载并解压kafka-eagle部署包 ~~~ # 下载编译好的包 [root@hadoop01 software]# wget http://pkgs-linux.cvimer.com/kafka-eagle.zip [root@ 阅读全文

posted @ 2022-04-17 16:08 yanqi_vip 阅读(30) 评论(0) 推荐(0)

|NO.Z.00000|——————————|Deployment|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 16:07 yanqi_vip 阅读(19) 评论(0) 推荐(0)

|NO.Z.00013|——————————|Deployment|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 16:06 yanqi_vip 阅读(30) 评论(0) 推荐(0)

|NO.Z.10000|——————————|Deployment|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 16:06 yanqi_vip 阅读(8) 评论(0) 推荐(0)

|NO.Z.00011|——————————|Deployment|——|Hadoop&Spark环境部署.v11|——|Hive.v01|部署安装|

摘要： 一、Hive安装配置 ### 环境准备 ~~~ Hive官网：http://hive.apache.org ~~~ 下载网址：http://archive.apache.org/dist/hive/ ~~~ 文档网址：https://cwiki.apache.org/confluence/displ 阅读全文

posted @ 2022-04-17 16:05 yanqi_vip 阅读(30) 评论(0) 推荐(0)

|NO.Z.00012|——————————|Deployment|——|Hadoop&Spark环境部署.v12|——|Hive.v02|Hive.metastore|HiveServer2|HCatalog|

摘要： 一、metastore远程模式配置规划： 节点 metastore client Hadoop01 √ Hadoop02 √ Hadoop03 √ 二、配置并启动HiveServer服务 ### 将Hadoop02 的 hive 安装文件拷贝到Hadoop01、Hadoop03并配置 [root@h 阅读全文

posted @ 2022-04-17 16:05 yanqi_vip 阅读(62) 评论(0) 推荐(0)

|NO.Z.00009|——————————|^^ 重要 ^^|——|Hadoop&Spark环境部署.v09|——|Hadoop.v09|map$reduce参数调整.v01|

摘要： 附录一：报错处理一： ### 报错现象： ~~~ 卡在这个位置不会动，数据没有加载 ~~~ 在执行这个的时候，把history打开，用于监控错误信息 [root@hadoop02 ~]# sh $SCRIPT_HOME/dwd_load_startlog.sh 2020-07-21 Cannot r 阅读全文

posted @ 2022-04-17 16:04 yanqi_vip 阅读(27) 评论(0) 推荐(0)

|NO.Z.00010|——————————|^^ 重要 ^^|——|Hadoop&Spark环境部署.v10|——|Hadoop.v10|map$reduce参数调整.v02|

摘要： 附录一：Mapreduce内存参数调整一： # 在mapreduce配置文件下配置 [root@hadoop02 ~]# vim /opt/yanqi/servers/hadoop-2.9.2/etc/hadoop/mapred-site.xml <!-- 设置map、reduce合理内存参数 -- 阅读全文

posted @ 2022-04-17 16:04 yanqi_vip 阅读(39) 评论(0) 推荐(0)

|NO.Z.00008|——————————|Deployment|——|Hadoop&Spark环境部署.v08|——|Hadoop.v08|历史日志|服务配置|

摘要： 一、配置历史服务器 ### 在Yarn中运行的任务产生的日志数据不能查看， ~~~ 为了查看程序的历史运行情况，需要配置一下历史日志服务器。具体配置步骤如下： ### 配置mapred-site.xml [root@hadoop01 ~]# vim /opt/yanqi/servers/hadoop 阅读全文

posted @ 2022-04-17 16:03 yanqi_vip 阅读(23) 评论(0) 推荐(0)

|NO.Z.00006|——————————|Deployment|——|Hadoop&Spark环境部署.v06|——|Hadoop.v06|集群启动|单节点启动|

摘要： 一、启动HDFS集群 ### 启动集群注意事项 ~~~ # 注意：如果集群是第一次启动，需要在Namenode所在节点格式化NameNode， ~~~ # 非第一次不用执行格式化Namenode操作！！ 二、单节点启动：格式化NameNode ### 单节点启动 ~~~ # 所有节点执行 [root 阅读全文

posted @ 2022-04-17 16:02 yanqi_vip 阅读(50) 评论(0) 推荐(0)

|NO.Z.00007|——————————|Deployment|——|Hadoop&Spark环境部署.v07|——|Hadoop.v07|集群测试|

摘要： 一、集群测试 ### HDFS 分布式存储初体验 ~~~ 从linux本地文件系统上传下载文件验证HDFS集群工作正常 ~~~ HDFS访问地址：http://hadoop01:50070/ ~~~ # 本地hoome目录创建一个文件 [root@hadoop01 ~]# vim test.txt 阅读全文

posted @ 2022-04-17 16:02 yanqi_vip 阅读(19) 评论(0) 推荐(0)

|NO.Z.00004|——————————|Deployment|——|Hadoop&Spark环境部署.v04|——|Hadoop.v04|集群组件部署|

摘要： 一、集群配置 ### # Hadoop集群配置 = HDFS集群配置 + MapReduce集群配置 + Yarn集群配置 ### # HDFS集群配置 ~~~ 将JDK路径明确配置给HDFS（修改hadoop-env.sh） ~~~ 指定NameNode节点以及数据存储目录（修改core-site 阅读全文

posted @ 2022-04-17 16:01 yanqi_vip 阅读(26) 评论(0) 推荐(0)

|NO.Z.00005|——————————|Deployment|——|Hadoop&Spark环境部署.v05|——|Hadoop.v05|rsync-script脚本编写|

摘要： 一、分发配置：rsync-script命令详解 ### 编写集群分发脚本rsync-script ~~~ rsync 远程同步工具 ~~~ rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。 ~~~ rsync和scp区别：用rsync做文件的复制要比scp的速度快，r 阅读全文

posted @ 2022-04-17 16:01 yanqi_vip 阅读(13) 评论(0) 推荐(0)

|NO.Z.00003|——————————|Deployment|——|Hadoop&Spark环境部署.v03|——|Hadoop.v03|环境变量配置|

摘要： 一、集群规划 hadoop1 hadoop2 hadoop3 NameNode √ SecondaryNameNode √ DataNode √ √ √ ResourceManager √ DataManager √ √ √ Hive √ √ √ HiveServer2 √ 二、HDFS和YARN集 阅读全文

posted @ 2022-04-17 16:01 yanqi_vip 阅读(26) 评论(0) 推荐(0)

|NO.Z.00002|——————————|Deployment|——|Hadoop&Spark环境部署.v02|——|Hadoop.v02|虚拟机环境准备|

摘要： 一、Apache Hadoop 完全分布式集群搭建 ### 软件和操作系统版本 ~~~ Hadoop框架是采用Java语言编写，需要java环境（jvm） ~~~ JDK版本：JDK8版本 ### 集群： ~~~ 知识点学习：统一使用vmware虚拟机虚拟五台linux节点，linux操作系统：Ce 阅读全文

posted @ 2022-04-17 16:00 yanqi_vip 阅读(30) 评论(0) 推荐(0)

|NO.Z.00000|——————————|Deployment|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 15:59 yanqi_vip 阅读(6) 评论(0) 推荐(0)

|NO.Z.00001|——————————|Deployment|——|Hadoop&Spark环境部署.v01|——|Hadoop.v01|基础环境配置|

摘要： 一、配置环境规划 ### vmware、linux版本 ~~~ vmware版本：VMware-workstation-full-15.5.5-16285975.exe ~~~ Linux版本：CentOS-7-x86_64-DVD-1810.iso ### Linux主机配置参数 ~~~ CPU： 阅读全文

posted @ 2022-04-17 15:59 yanqi_vip 阅读(15) 评论(0) 推荐(0)

|NO.R.00009|——————————|Navigation|————|服务启动导航.v04|————|Redis.v01|环境部署|

摘要： 一、Redis单机版安装和使用 ### 安装C 语言需要的GCC 环境 [root@hadoop ~]# yum install -y gcc-c++ [root@hadoop ~]# yum install -y wget ### 下载并解压缩Redis 源码压缩包 [root@hadoop so 阅读全文

posted @ 2022-04-17 15:58 yanqi_vip 阅读(18) 评论(0) 推荐(0)

|NO.R.10000|——————————|Navigation|~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 15:58 yanqi_vip 阅读(7) 评论(0) 推荐(0)

|NO.R.00007|——————————|Navigation|————|服务启动导航.v02|————|ZookeeperKafka.v02|集群环境搭建|

摘要： 一、集群搭建：搭建设计 ### 分配三台Linux，用于安装拥有三个节点的Kafka集群。 Hadoop01 192.168.1.111 Hadoop02 192.168.1.122 Hadoop03 192.168.1.133 一、部署kafka集群：配置hosts文件 ### 以上三台主机的/e 阅读全文

posted @ 2022-04-17 15:57 yanqi_vip 阅读(24) 评论(0) 推荐(0)

|NO.R.00008|——————————|Navigation|————|服务启动导航.v03|————|KafkaEagle.v03|环境部署|

摘要： 一、部署kafka-eagle：开启kafka节点的JMX ### 下载并解压kafka-eagle部署包 ~~~ # 下载编译好的包 [root@hadoop01 software]# wget http://pkgs-linux.cvimer.com/kafka-eagle.zip [root@ 阅读全文

posted @ 2022-04-17 15:57 yanqi_vip 阅读(45) 评论(0) 推荐(0)

|NO.R.00005|——————————|Navigation|~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 15:56 yanqi_vip 阅读(13) 评论(0) 推荐(0)

|NO.R.00006|——————————|Navigation|————|服务启动导航.v01|————|ZookeeperKafka.v01|服务启动导航|

摘要： 一、zookeeper集群启动 ### zookeeper集群启动 ~~~ # 在三台Linux上启动Zookeeper [root@hadoop01 ~]# zkServer.sh start [root@hadoop02 ~]# zkServer.sh start [root@hadoop03 阅读全文

posted @ 2022-04-17 15:56 yanqi_vip 阅读(36) 评论(0) 推荐(0)

|NO.R.00003|——————————|Navigation|————|服务启动导航.v03|————|zookeeper.v01|集群部署|

摘要： 一、Zookeeper环境搭建：HA模式 ### 下载并解版本包 [root@hadoop02 ~]# ls /opt/yanqi/software/zookeeper-3.4.14.tar.gz /opt/yanqi/software/zookeeper-3.4.14.tar.gz [root@h 阅读全文

posted @ 2022-04-17 15:55 yanqi_vip 阅读(24) 评论(0) 推荐(0)

|NO.R.00004|——————————|Navigation|————|服务启动导航.v04|————|服务启动导航.v01|内存级快速计算引擎spark|

摘要： 一、PB级别企业电商离线仓库：部署规划 IP地址 主机名 第一台机器 192.168.1.121 Hadoop01 第二台机器 192.168.1.122 Hadoop02 第三台机器 192.168.1.123 Hadoop03 ### 软件选型 ~~~ 数据采集：DataX、Flume、Sqoo 阅读全文

posted @ 2022-04-17 15:55 yanqi_vip 阅读(36) 评论(0) 推荐(0)

|NO.R.00001|——————————|Navigation|————|服务启动导航.v01|————|NTP.v01|时间同步服务器配置：方案一|

摘要： 一、配置主机时间同步： ### 查看当前服务端和客户端版本一致 [root@localhost ~]# cat /etc/redhat-release CentOS Linux release 7.6.1810 (Core) 二、ntp.server端配置：hadoop01 ### 进行外网时间同步 阅读全文

posted @ 2022-04-17 15:54 yanqi_vip 阅读(24) 评论(0) 推荐(0)

|NO.R.00002|——————————|Navigation|————|服务启动导航.v02|————|NTP.v02|时间同步服务器配置：方案二|

摘要： 一、安装ntp服务 ### 安装ntp服务 ~~~ # hadoop01、hadoop02、hadoop03安装ntp服务： [root@hadoop01 ~]# yum -y install ntp ### 配置文件修改 ~~~ # 修改ntp.conf配置文件：hadoop01、hadoop02 阅读全文

posted @ 2022-04-17 15:54 yanqi_vip 阅读(12) 评论(0) 推荐(0)

|NO.R.00000|——————————|Navigation|~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 15:53 yanqi_vip 阅读(7) 评论(0) 推荐(0)

|NO.Z.00013|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v13|——|EbProject.v13|可视化&grafana可视化实时redis数据.V8|

摘要： 一、安装grafana-redis插件 ### 安装grafanan-redis插件 ~~~ # 安装grafana-redis插件 [root@hadoop00 ~]# /opt/yanqi/servers/grafana/bin/grafana-cli plugins install redis 阅读全文

posted @ 2022-04-17 15:52 yanqi_vip 阅读(49) 评论(0) 推荐(0)

|NO.Z.00014|——————————|Deployment|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 15:52 yanqi_vip 阅读(22) 评论(0) 推荐(0)

|NO.Z.10000|——————————|Deployment|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 15:52 yanqi_vip 阅读(12) 评论(0) 推荐(0)

|NO.Z.00012|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v12|——|EbProject.v12|可视化&grafana可视化flink指标.V7|

摘要： 一、在prometheus下添加数据源 ### 配置数据源流程 ~~~ ——>http://hadoop00:3000——>Configuration——>Data Sources——> ~~~ ——>Add data source——>Prometheus——> ~~~ ——>Name：prome 阅读全文

posted @ 2022-04-17 15:51 yanqi_vip 阅读(36) 评论(0) 推荐(0)

|NO.Z.00010|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v10|——|EbProject.v10|可视化&Flink配置.V5|

摘要： 一、修改flink配置，开放flink被监控端口 ### 把prometheus的jar包复制到flink的lib目录下 ~~~ # 把prometheus的jar包复制到flink的lib目录下 ~~~ # prometheus的jar包的地址在flink的plugin目录下：/opt/yanqi 阅读全文

posted @ 2022-04-17 15:50 yanqi_vip 阅读(46) 评论(0) 推荐(0)

|NO.Z.00011|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v11|——|EbProject.v11|可视化&grafana部署.V6|

摘要： 一、通过grafana工具监控，可视化效果友好： ### 下载grafana版本 ~~~ # 下载grafana版本包 [root@hadoop00 software]# wget -c https://dl.grafana.com/oss/release/grafana-7.3.1.linux-a 阅读全文

posted @ 2022-04-17 15:50 yanqi_vip 阅读(31) 评论(0) 推荐(0)

|NO.Z.00008|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v08|——|EbProject.v08|可视化&node_exporter部署.V3|

摘要： 一、部署prometheus-exporter ### 在系统层用作系统监控exporter ~~~ # 下载exporter版本包，主机是centos系统；因此用的监控export是node_exporter-0.16.0.linux-amd64.tar.gz ， [root@hadoop00 s 阅读全文

posted @ 2022-04-17 15:49 yanqi_vip 阅读(29) 评论(0) 推荐(0)

|NO.Z.00009|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v09|——|EbProject.v09|可视化&pushgateway部署.V4|

摘要： 一、部署pushgateway: ### pushgateway ~~~ Pushgateway 是 Prometheus 生态中一个重要工具，使用它的原因主要是： ~~~ Prometheus 采用 pull 模式，可能由于不在一个子网或者防火墙原因， ~~~ 导致 Prometheus 无法直接 阅读全文

posted @ 2022-04-17 15:49 yanqi_vip 阅读(28) 评论(0) 推荐(0)

|NO.Z.00006|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v06|——|EbProject.v06|可视化&Prometheus部署.V1|

摘要： 一、系统实时监控&可视化 ### 普罗米修斯Prometheus ~~~ # 功能：在业务层用作埋点系统 ~~~ Prometheus支持多种语言（Go，java，python，ruby官方提供客户端， ~~~ 其他语言有第三方开源客户端）。我们可以通过客户端方便的对核心业务进行埋点。 ~~~ 如下 阅读全文

posted @ 2022-04-17 15:48 yanqi_vip 阅读(41) 评论(0) 推荐(0)

|NO.Z.00007|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v07|——|EbProject.v07|可视化&Prometheus部署.V2|

摘要： 一、prometheus部署：安装go语言环境 ### 下载版本包并解压 ~~~ # 由于Prometheus 是用golang开发的，所以首先安装一个go环境，Go语言是跨平台，支持Windows、Linux、 ~~~ # Windows ：go1.8.3.windows-amd64.msi (7 阅读全文

posted @ 2022-04-17 15:48 yanqi_vip 阅读(71) 评论(0) 推荐(0)

|NO.Z.00003|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v03|——|EbProject.v03|canal部署&Canal部署|

摘要： 一、Canal 安装说明 ### 单机模式，也可以将Canal搭建集群模式。 ~~~ 如果要搭建集群模式，可将Canal目录分发给其他虚拟机，然后在各节点中分别启动Canal。 ~~~ 这种Zookeeper为观察者监控的模式， ~~~ 只能实现高可用，而不是负载均衡， ~~~ 即同一时间点只有一个 阅读全文

posted @ 2022-04-17 15:47 yanqi_vip 阅读(48) 评论(0) 推荐(0)

|NO.Z.00004|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v04|——|EbProject.v04|canal部署&kafka客户端测试|

摘要： 一、Kafka客户端测试 ### 启动相关服务 ~~~ # 启动zookeeper服务 [root@hadoop01 ~]# ./zk.sh start ~~~ # 启动kafka服务 [root@hadoop01 ~]# kafka-server-start.sh -daemon /opt/yan 阅读全文

posted @ 2022-04-17 15:47 yanqi_vip 阅读(31) 评论(0) 推荐(0)

|NO.Z.00005|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v05|——|EbProject.v05|Flume配置&Flume配置|

摘要： 一、Flume配置文件： ### flume配置文件：event-conf.properties ~~~ # 写入Flume配置文件：event-conf.properties [root@hadoop02 ~]# vim /opt/yanqi/servers/flume-1.9.0/conf/ev 阅读全文

posted @ 2022-04-17 15:47 yanqi_vip 阅读(22) 评论(0) 推荐(0)

|NO.Z.00001|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v01|——|EbProject.v01|业务数据库表结构|

摘要： 一、业务数据库表结构 ### 业务数据库：数据源 ~~~ 交易订单表（yanqi_trade_orders） ~~~ 订单产品表（yanqi_order_product） ~~~ 产品信息表（yanqi_product_info） ~~~ 产品分类表（yanqi_product_category） 阅读全文

posted @ 2022-04-17 15:46 yanqi_vip 阅读(58) 评论(0) 推荐(0)

|NO.Z.00002|——————————|Deployment|——|Hadoop&EbProjec电商实时数仓项目.v02|——|EbProject.v02|canal部署&配置MySQL的binlog|

摘要： 一、配置MySQL的binlog ### 常见的binlog命令 ~~~ # 是否启用binlog日志 mysql> show variables like 'log_bin'; + + + | Variable_name | Value | + + + | log_bin | ON | + + + 阅读全文

posted @ 2022-04-17 15:46 yanqi_vip 阅读(28) 评论(0) 推荐(0)

|NO.Z.00000|——————————|Deployment|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 15:45 yanqi_vip 阅读(19) 评论(0) 推荐(0)

|NO.Z.10000|——————————|Deployment|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 15:44 yanqi_vip 阅读(15) 评论(0) 推荐(0)

|NO.Z.00025|——————————|^^ 修订 ^^|——|Hadoop&PB级离线数仓.v04|——|Griffin.v04|数据可视化|

摘要： 一、数据可视化 ### 数据可视化 ~~~ ADS => DataX => MySQL => 浏览器呈现 ~~~ 对统计数据进行展示一般都是以图、表方式呈现； ~~~ 常见方式有 ECharts、HighCharts、G2、Chart.js 、FineBI等。 ~~~ 本项目使用SSM（Spring 阅读全文

posted @ 2022-04-17 15:43 yanqi_vip 阅读(34) 评论(0) 推荐(0)

|NO.Z.00026|——————————|Deployment|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 15:43 yanqi_vip 阅读(11) 评论(0) 推荐(0)

|NO.Z.00023|——————————|^^ 部署 ^^|——|Hadoop&PB级离线数仓.v02|——|Griffin.v02|Griffin部署|

摘要： 一、Griffin编译准备 ### 软件解压缩 [root@hadoop02 ~]# ls /opt/yanqi/software/griffin-griffin-0.5.0.zip /opt/yanqi/software/griffin-griffin-0.5.0.zip [root@hadoop 阅读全文

posted @ 2022-04-17 15:42 yanqi_vip 阅读(67) 评论(0) 推荐(0)

|NO.Z.00024|——————————|^^ 修订 ^^|——|Hadoop&PB级离线数仓.v03|——|Griffin.v03|数据质量监控|

摘要： 一、与电商业务集成 ### 数据资产：单击右上角的 DataAssets 来检查数据资产 ~~~ 这里的数据数据资产主要是保存在Hive上的表，要求 Hive Metastore 服务正常 ### 创建 measure ~~~ 如果要测量源和目标之间的匹配率，请选择 Accuracy（精确度验证） 阅读全文

posted @ 2022-04-17 15:42 yanqi_vip 阅读(40) 评论(0) 推荐(0)

|NO.Z.00021|——————————|Deployment|——|Hadoop&PB级离线数仓.v03|——|Atlas.v03|Atlas与电商业务集成|血缘关系|

摘要： 一、与电商业务集成 ### 电商业务集成环境准备 ~~~ 开发（建库、建表） => 导入数据 => 执行Hive脚本 ~~~ 导入Hive的血缘关系 二、电商业务建表 ### 电商业务建表语句（可省略）： ~~~ # 创建DataBases; CREATE DATABASE ODS; CREATE 阅读全文

posted @ 2022-04-17 15:41 yanqi_vip 阅读(59) 评论(0) 推荐(0)

|NO.Z.00022|——————————|^^ 修订 ^^|——|Hadoop&PB级离线数仓.v01|——|Griffin.v01|Griffin部署&spark&livy&ES|

摘要： 一、安装概述 ### 相关依赖：重点讲解 Griffin，不对依赖组件做过多讲解，所有组件均采用单机模式安装。 ~~~ JDK (1.8 or later versions) ~~~ MySQL(version 5.6及以上) ~~~ Hadoop (2.6.0 or later) ~~~ Hive 阅读全文

posted @ 2022-04-17 15:41 yanqi_vip 阅读(30) 评论(0) 推荐(0)

|NO.Z.00019|——————————|Deployment|——|Hadoop&PB级离线数仓.v01|——|Atlas.v01|安装配置|账户密码|

摘要： 一、安装环境准备 ### 安装概述说明 ~~~ 重点讲解Atlas，不对Atlas的依赖组件做讲解，组件均采用单机模式安装。 ~~~ 编译才能安装。 ### 安装依赖 ~~~ Maven 3.6.3（完成） ~~~ HBase 1.1.2（不需要安装，需要软件包） ~~~ Solr 5.5.1（不需 阅读全文

posted @ 2022-04-17 15:40 yanqi_vip 阅读(49) 评论(0) 推荐(0)

|NO.Z.00020|——————————|Deployment|——|Hadoop&PB级离线数仓.v02|——|Atlas.v02|Hive血缘关系导入|

摘要： 一、Hive血缘关系导入 ### 配置HIVE_HOME环境变量； ~~~ 将atlas服务下atlas-application.properties配置文件拷贝到hive服务目录下 ~~~ # 创建软连接： ~~~ 将 $ATLAS_HOME/conf/atlasapplication.prope 阅读全文

posted @ 2022-04-17 15:40 yanqi_vip 阅读(27) 评论(0) 推荐(0)

|NO.Z.00018|——————————|Deployment|——|Hadoop&PB级离线数仓.v05|——|Airflow.v05|Airflow入门案例HelloWorld|

摘要： 一、Airflow核心概念 ### Airflow核心概念 ~~~ DAGs：有向无环图(Directed Acyclic Graph)，将所有需要运行的tasks按照依赖关系组织起来， ~~~ 描述的是所有tasks执行的顺序； ### Operators：Airflow内置了很多operator 阅读全文

posted @ 2022-04-17 15:39 yanqi_vip 阅读(63) 评论(0) 推荐(0)

|NO.Z.00017|——————————|Deployment|——|Hadoop&PB级离线数仓.v04|——|Airflow.v04|crontab简介及案例|

摘要： 一、crontab ### Crontab简介 ~~~ Linux 系统则是由 cron (crond) 这个系统服务来控制的。 ~~~ Linux 系统上面原本就有非常多的计划性工作，因此这个系统服务是默认启动的。 ~~~ Linux 系统也提供了Linux用户控制计划任务的命令：crontab 阅读全文

posted @ 2022-04-17 15:39 yanqi_vip 阅读(46) 评论(0) 推荐(0)

|NO.Z.00016|——————————|Deployment|——|Hadoop&PB级离线数仓.v03|——|Airflow.v03|禁用默认的DAG任务|

摘要： 一、Airflow.UI界面概述 ### Airflow.UI界面概述 ~~~ Trigger Dag：人为执行触发 ~~~ Tree View：当dag执行的时候，可以点入，查看每个task的执行状态（基于树状视图）。 ~~~ 状态：success、running、failed、skipped、r 阅读全文

posted @ 2022-04-17 15:38 yanqi_vip 阅读(61) 评论(0) 推荐(0)

|NO.Z.00014|——————————|Deployment|——|Hadoop&PB级离线数仓.v01|——|Airflow.v01|安装部署|

摘要： 一、Airflow安装部署 ### 安装依赖 ~~~ CentOS 7.X ~~~ Python 3.5或以上版本（推荐） ~~~ MySQL 5.7.x ~~~ Apache-Airflow 1.10.11 ~~~ 虚拟机可上网，需在线安装包 ~~~ # 备注：后面要安装的三个软件Airflow、 阅读全文

posted @ 2022-04-17 15:37 yanqi_vip 阅读(63) 评论(0) 推荐(0)

|NO.Z.00015|——————————|Deployment|——|Hadoop&PB级离线数仓.v02|——|Airflow.v02|修改默认时区|

摘要： 一、修改时区 ### 修改时区 ~~~ Airflow默认使用UTC时间，在中国时区需要用+8小时。 ~~~ 将UTC修改为中国时区，需要修改Airflow源码。 ### 在修改 $AIRFLOW_HOME/airflow.cfg 文件 (env) [root@hadoop02 ~]# vim /o 阅读全文

posted @ 2022-04-17 15:37 yanqi_vip 阅读(249) 评论(0) 推荐(0)

|NO.Z.00012|——————————|Deployment|——|Hadoop&PB级离线数仓.v01|——|DataX.v01|部署安装|应用案例|

摘要： 一、DataX概述及安装 ### DataX概述 ~~~ DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台， ~~~ 实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、 ~~~ MaxComp 阅读全文

posted @ 2022-04-17 15:36 yanqi_vip 阅读(60) 评论(0) 推荐(0)

|NO.Z.00013|——————————|Deployment|——|Hadoop&PB级离线数仓.v01|——|Hive on Tez.v01|Hive on Tez|部署安装|

摘要： 一、Hive on Tez概述 ### Hive on Tez ~~~ Hortonworks在2014年左右发布了Stinger Initiative， ~~~ 并进行社区分享，为的是让Hive支持更多SQL，并实现更好的性能。 ~~~ 让Hive的查询功能更强大。增加类似OVER子句的分析功能， 阅读全文

posted @ 2022-04-17 15:36 yanqi_vip 阅读(89) 评论(0) 推荐(0)

|NO.Z.00009|——————————|Deployment|——|Hadoop&PB级离线数仓.v01|——|Hive.v01|安装配置|

摘要： 一、Hive安装配置 ### 环境准备 ~~~ Hive官网：http://hive.apache.org ~~~ 下载网址：http://archive.apache.org/dist/hive/ ~~~ 文档网址：https://cwiki.apache.org/confluence/displ 阅读全文

posted @ 2022-04-17 15:35 yanqi_vip 阅读(35) 评论(0) 推荐(0)

|NO.Z.00010|——————————|Deployment|——|Hadoop&PB级离线数仓.v02|——|Hive.v02|HiveServer2安装配置|

摘要： 一、metastore远程模式配置规划： 节点 metastore client Hadoop01 √ Hadoop02 √ Hadoop05 √ 二、配置并启动HiveServer服务 ### 将Hadoop02 的 hive 安装文件拷贝到Hadoop01、Hadoop05并配置 [root@h 阅读全文

posted @ 2022-04-17 15:35 yanqi_vip 阅读(51) 评论(0) 推荐(0)

|NO.Z.00011|——————————|Deployment|——|Hadoop&PB级离线数仓.v01|——|Flume.v01|Flume.v1.9安装配置|

摘要： 一、安装部署Flume ### 安装部署 ~~~ Flume官网地址：http://flume.apache.org/ ~~~ 文档查看地址：http://flume.apache.org/FlumeUserGuide.html ~~~ 下载地址：http://archive.apache.org/ 阅读全文

posted @ 2022-04-17 15:35 yanqi_vip 阅读(40) 评论(0) 推荐(0)

|NO.Z.00008|——————————|Deployment|——|Hadoop&PB级离线数仓.v08|——|Hadoop.v08|历史日志服务配置|

摘要： 一、配置历史服务器 ### 在Yarn中运行的任务产生的日志数据不能查看， ~~~ 为了查看程序的历史运行情况，需要配置一下历史日志服务器。具体配置步骤如下： ### 配置mapred-site.xml [root@hadoop01 ~]# vim /opt/yanqi/servers/hadoop 阅读全文

posted @ 2022-04-17 15:34 yanqi_vip 阅读(32) 评论(0) 推荐(0)

|NO.Z.00006|——————————|Deployment|——|Hadoop&PB级离线数仓.v06|——|Hadoop.v06|集群启动|单节点启动|

摘要： 一、启动HDFS集群 ### 启动集群注意事项 ~~~ # 注意：如果集群是第一次启动，需要在Namenode所在节点格式化NameNode， ~~~ # 非第一次不用执行格式化Namenode操作！！ 二、单节点启动：格式化NameNode ### 单节点启动 ~~~ # 所有节点执行 [root 阅读全文

posted @ 2022-04-17 15:33 yanqi_vip 阅读(44) 评论(0) 推荐(0)

|NO.Z.00007|——————————|Deployment|——|Hadoop&PB级离线数仓.v07|——|Hadoop.v07|集群测试|

摘要： 一、集群测试 ### HDFS 分布式存储初体验 ~~~ # 从linux本地文件系统上传下载文件验证HDFS集群工作正常 ~~~ HDFS访问地址：http://hadoop01:50070/ ~~~ # 本地hoome目录创建一个文件 [root@hadoop01 ~]# vim test.tx 阅读全文

posted @ 2022-04-17 15:33 yanqi_vip 阅读(41) 评论(0) 推荐(0)

|NO.Z.00005|——————————|Deployment|——|Hadoop&PB级离线数仓.v05|——|Hadoop.v05|rsync-script脚本编写|

摘要： 一、分发配置：rsync-script命令详解 ### 编写集群分发脚本rsync-script ~~~ # rsync 远程同步工具 ~~~ rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。 ~~~ rsync和scp区别：用rsync做文件的复制要比scp的速度快 阅读全文

posted @ 2022-04-17 15:32 yanqi_vip 阅读(20) 评论(0) 推荐(0)

|NO.Z.00003|——————————|Deployment|——|Hadoop&PB级离线数仓.v03|——|Hadoop.v03|环境变量配置|

摘要： 一、集群规划 hadoop1 hadoop2 hadoop3 hadoop4 hadoop5 NameNode √ SecondaryNameNode √ DataNode √ √ √ √ √ ResourceManager √ DataManager √ √ √ √ √ Hive √ √ √ Hi 阅读全文

posted @ 2022-04-17 15:31 yanqi_vip 阅读(43) 评论(0) 推荐(0)

|NO.Z.00004|——————————|Deployment|——|Hadoop&PB级离线数仓.v04|——|Hadoop.v04|集群组件部署|

摘要： 一、集群配置 ### Hadoop集群配置 = HDFS集群配置 + MapReduce集群配置 + Yarn集群配置 ~~~ # HDFS集群配置 ~~~ 将JDK路径明确配置给HDFS（修改hadoop-env.sh） ~~~ 指定NameNode节点以及数据存储目录（修改core-site.x 阅读全文

posted @ 2022-04-17 15:31 yanqi_vip 阅读(87) 评论(0) 推荐(0)

|NO.Z.00002|——————————|Deployment|——|Hadoop&PB级离线数仓.v02|——|Hadoop.v02|虚拟机环境准备|

摘要： 一、Apache Hadoop 完全分布式集群搭建 ### 软件和操作系统版本 ~~~ Hadoop框架是采用Java语言编写，需要java环境（jvm） ~~~ JDK版本：JDK8版本 ### 集群： ~~~ 知识点学习：统一使用vmware虚拟机虚拟五台linux节点，linux操作系统：Ce 阅读全文

posted @ 2022-04-17 15:30 yanqi_vip 阅读(38) 评论(0) 推荐(0)

|NO.Z.00000|——————————|Deployment|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 15:29 yanqi_vip 阅读(21) 评论(0) 推荐(0)

|NO.Z.00001|——————————|Deployment|——|Hadoop&PB级离线数仓.v01|——|Hadoop.v01|基础环境配置|

摘要： 一、配置环境规划 ### vmware、linux版本 ~~~ vmware版本：VMware-workstation-full-15.5.5-16285975.exe ~~~ Linux版本：CentOS-7-x86_64-DVD-1810.iso ### Linux主机配置参数 ~~~ CPU： 阅读全文

posted @ 2022-04-17 15:29 yanqi_vip 阅读(30) 评论(0) 推荐(0)

|NO.R.10000|——————————|Navigation|~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 15:28 yanqi_vip 阅读(11) 评论(0) 推荐(0)

|NO.R.00001|——————————|Navigation|————|PB级企业电商离线数仓|——|服务启动导航|

摘要： 一、PB级别企业电商离线仓库：部署规划 IP地址 主机名 第一台机器 192.168.1.121 Hadoop01 第二台机器 192.168.1.122 Hadoop02 第三台机器 192.168.1.123 Hadoop03 第四台机器 192.168.1.124 Hadoop04 第五台机器 阅读全文

posted @ 2022-04-17 15:27 yanqi_vip 阅读(56) 评论(0) 推荐(0)

导航