摘要： 一、History Server配置 ### History Server ~~~ # 配置服务的history server：spark-defaults.conf [root@hadoop01 ~]# vim $SPARK_HOME/conf/spark-defaults.conf # hist 阅读全文

摘要： 一、spark安装 ### 下载软件解压缩， ~~~ # 下载spark版本包 [root@hadoop01 software]# wget https://archive.apache.org/dist/spark/spark-2.4.5/spark-2.4.5-bin-without-hadoo 阅读全文

摘要： 一、HBase shell 基本操作 ### 进入Hbase客户端命令操作界面 ~~~ # 进入hbase客户端 [root@hadoop01 ~]# hbase shell ~~~ # 查看帮助命令 hbase(main):004:0> help ~~~ # 查看当前数据库有哪些表 hbase(m 阅读全文

摘要： 一、安装和运行 ### 安装前提和准备 ~~~ # 硬件： ~~~ 一台或者多台机器跑kudu-master。 ~~~ 建议跑一个master(无容错机制)、 ~~~ 三个master(允许一个节点运行出错)或者五个master(允许两个节点出错)。 ~~~ 一台或者多台机器跑kudu-tserve 阅读全文

摘要： 一、集群搭建：搭建设计 ### 分配三台Linux，用于安装拥有三个节点的Kafka集群。 Hadoop01 192.168.1.121 Hadoop02 192.168.1.122 Hadoop03 192.168.1.123 一、部署kafka集群：配置hosts文件 ### 以上三台主机的/e 阅读全文

摘要： 一、HBase集群安装部署 ### 下载安装包 ~~~ # 下载HBase版本包 [root@hadoop01 software]# wget http://archive.apache.org/dist/hbase/1.3.1/hbase-1.3.1-bin.tar.gz ### 解压安装包到指定 阅读全文

摘要： 一、ClickHouse链接Kafka ### ClickHouse链接Kafka：此引擎与 Apache Kafka 结合使用。 ~~~ # Kafka 特性： ~~~ 发布或者订阅数据流。 ~~~ 容错存储机制。 ~~~ 处理流数据。 ### 链接语法格式 ~~~ # 老版格式： Kafka(k 阅读全文

摘要： 一、JDBC ### ClickHouse链接JDBC ~~~ 允许CH通过 JDBC 连接到外部数据库。 ~~~ 要实现JDBC连接，CH需要使用以后台进程运行的程序 clickhouse-jdbc-bridge。 ~~~ 该引擎支持 Nullable 数据类型。 ### 建表语法 CREATE 阅读全文

摘要： 一、ClickHouse链接mysql ### mysql说明 ~~~ MySQL 引擎可以对存储在远程 MySQL 服务器上的数据执行 SELECT 查询。 ### 调用格式： MySQL('host:port', 'database', 'table', 'user', 'password'[, 阅读全文

摘要： 一、JBOD策略 ### 配置方式在config.xml配置文件中指定： ~~~ # 在集群主机上config.xml配置JBOD策略 [root@hadoop01 ~]# vim /etc/clickhouse-server/config.xml ~~~ 在config.xml文件最后一行：</y 阅读全文

摘要： 一、HOT/COLD策略 ### 配置方式在config.xml配置文件中指定： ~~~ # 在集群主机上config.xml配置JBOD策略 [root@hadoop01 ~]# vim /etc/clickhouse-server/config.xml ~~~ 在config.xml文件最后一行 阅读全文

摘要： 一、HDFS ### HDFS ~~~ 该引擎提供了集成 Apache Hadoop 生态系统通过允许管理数据 HDFS通过ClickHouse. ~~~ 这个引擎是相似的 到 文件和 URL 引擎，但提供Hadoop特定的功能。 ### 用途 ~~~ 该 URI 参数是HDFS中的整个文件URI。 阅读全文

摘要： 一、MergeTree存储策略配置 ### 整体配置：配置mergetree存储配置方案 ~~~ 所有主机创建mergetree存储目录 [root@hadoop01 ~]# mkdir -p /var/lib/clickhouse/chbase/colddata [root@hadoop01 ~] 阅读全文

摘要： 一、ClickHouse下载 ### 下载地址 ~~~ 官网：https://clickhouse.yandex/ ~~~ 下载地址：http://repo.red-soft.biz/repos/clickhouse/stable/el6/ 二、ClickHouse单击模式安装 ### 单机模式：h 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、安装ntp服务 ### 安装ntp服务 ~~~ # hadoop01、hadoop02、hadoop03安装ntp服务： [root@hadoop01 ~]# yum -y install ntp ### 配置文件修改 ~~~ # 修改ntp.conf配置文件：hadoop01、hadoop02 阅读全文

摘要： 附录一：Mapreduce内存参数调整一： ### 在mapreduce配置文件下配置 [root@hadoop02 ~]# vim /opt/yanqi/servers/hadoop-2.9.2/etc/hadoop/mapred-site.xml <!-- 设置map、reduce合理内存参数 阅读全文

摘要： 一、Zookeeper环境搭建：HA模式 ### 下载并解版本包 [root@hadoop02 ~]# ls /opt/yanqi/software/zookeeper-3.4.14.tar.gz /opt/yanqi/software/zookeeper-3.4.14.tar.gz [root@h 阅读全文

摘要： 附录一：报错处理一： ### 报错现象： ~~~ 卡在这个位置不会动，数据没有加载 ~~~ 在执行这个的时候，把history打开，用于监控错误信息 [root@hadoop02 ~]# sh $SCRIPT_HOME/dwd_load_startlog.sh 2020-07-21 Cannot r 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、Flink.Yarn模式部署 ### 启动一个YARN session(Start a long-running Flink cluster on YARN)； ~~~ 方式一：yarn session启动 ~~~ 方式二：per job方式启动 二、YARN Session方式：Flink.y 阅读全文

摘要： 一、方式一：Per job方式 ### 方式一：Per job方式 ~~~ 直接在YARN上提交运行Flink作业(Run a Flink job on YARN) ~~~ Per job启动流程 二、Per job方式启动实例 ### 启动一个应用实例 ### 在yarn-cluster-UI下查 阅读全文

摘要： 一、在IDEA下导入打jar插件 ### 将WordCountScalaStream打成jar包 ~~~ 注意：集群搭建完毕后，Flink程序就可以打成Jar， ~~~ 在集群环境下类似于Step7中一样提交执行计算任务打jar包插件： ~~~ 该插件可以把包含所有的Flink程序需要的所有的依赖文 阅读全文

摘要： 一、Redis单机版安装和使用 ### 安装C 语言需要的GCC 环境 [root@hadoop ~]# yum install -y gcc-c++ [root@hadoop ~]# yum install -y wget ### 下载并解压缩Redis 源码压缩包 [root@hadoop so 阅读全文

摘要： 一、Flink安装和部署 ### Flink支持多种安装模式 ~~~ local（本地）：单机模式，一般本地开发调试使用 ~~~ StandAlone 独立模式：Flink自带集群，自己管理资源调度，生产环境也会有所应用 ~~~ Yarn模式：计算资源统一由Hadoop YARN管理，生产环境应用较 阅读全文

摘要： 一、集群搭建：搭建设计 ### 分配三台Linux，用于安装拥有三个节点的Kafka集群。 Hadoop01 192.168.1.121 Hadoop02 192.168.1.122 Hadoop03 192.168.1.123 一、部署kafka集群：配置hosts文件 ### 以上三台主机的/e 阅读全文

摘要： 一、部署kafka-eagle：开启kafka节点的JMX ### 下载并解压kafka-eagle部署包 ~~~ # 下载编译好的包 [root@hadoop01 software]# wget http://pkgs-linux.cvimer.com/kafka-eagle.zip [root@ 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、Hive安装配置 ### 环境准备 ~~~ Hive官网：http://hive.apache.org ~~~ 下载网址：http://archive.apache.org/dist/hive/ ~~~ 文档网址：https://cwiki.apache.org/confluence/displ 阅读全文

摘要： 一、metastore远程模式配置规划： 节点 metastore client Hadoop01 √ Hadoop02 √ Hadoop03 √ 二、配置并启动HiveServer服务 ### 将Hadoop02 的 hive 安装文件拷贝到Hadoop01、Hadoop03并配置 [root@h 阅读全文

摘要： 附录一：报错处理一： ### 报错现象： ~~~ 卡在这个位置不会动，数据没有加载 ~~~ 在执行这个的时候，把history打开，用于监控错误信息 [root@hadoop02 ~]# sh $SCRIPT_HOME/dwd_load_startlog.sh 2020-07-21 Cannot r 阅读全文

摘要： 附录一：Mapreduce内存参数调整一： # 在mapreduce配置文件下配置 [root@hadoop02 ~]# vim /opt/yanqi/servers/hadoop-2.9.2/etc/hadoop/mapred-site.xml <!-- 设置map、reduce合理内存参数 -- 阅读全文

摘要： 一、配置历史服务器 ### 在Yarn中运行的任务产生的日志数据不能查看， ~~~ 为了查看程序的历史运行情况，需要配置一下历史日志服务器。具体配置步骤如下： ### 配置mapred-site.xml [root@hadoop01 ~]# vim /opt/yanqi/servers/hadoop 阅读全文

摘要： 一、启动HDFS集群 ### 启动集群注意事项 ~~~ # 注意：如果集群是第一次启动，需要在Namenode所在节点格式化NameNode， ~~~ # 非第一次不用执行格式化Namenode操作！！ 二、单节点启动：格式化NameNode ### 单节点启动 ~~~ # 所有节点执行 [root 阅读全文

摘要： 一、集群测试 ### HDFS 分布式存储初体验 ~~~ 从linux本地文件系统上传下载文件验证HDFS集群工作正常 ~~~ HDFS访问地址：http://hadoop01:50070/ ~~~ # 本地hoome目录创建一个文件 [root@hadoop01 ~]# vim test.txt 阅读全文

摘要： 一、集群配置 ### # Hadoop集群配置 = HDFS集群配置 + MapReduce集群配置 + Yarn集群配置 ### # HDFS集群配置 ~~~ 将JDK路径明确配置给HDFS（修改hadoop-env.sh） ~~~ 指定NameNode节点以及数据存储目录（修改core-site 阅读全文