2022年4月17日

|NO.Z.00012|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v12|——|Kylin.v03|HBase Shell操作|

摘要: 一、HBase shell 基本操作 ### 进入Hbase客户端命令操作界面 ~~~ # 进入hbase客户端 [root@hadoop01 ~]# hbase shell ~~~ # 查看帮助命令 hbase(main):004:0> help ~~~ # 查看当前数据库有哪些表 hbase(m 阅读全文

posted @ 2022-04-17 16:22 yanqi_vip 阅读(28) 评论(0) 推荐(0)

|NO.Z.00009|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v09|——|kudu.v01|部署安装|ntp|

摘要: 一、安装和运行 ### 安装前提和准备 ~~~ # 硬件: ~~~ 一台或者多台机器跑kudu-master。 ~~~ 建议跑一个master(无容错机制)、 ~~~ 三个master(允许一个节点运行出错)或者五个master(允许两个节点出错)。 ~~~ 一台或者多台机器跑kudu-tserve 阅读全文

posted @ 2022-04-17 16:21 yanqi_vip 阅读(40) 评论(0) 推荐(0)

|NO.Z.00010|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v10|——|Kylin.v01|zookeeper&kafka|集群搭建|

摘要: 一、集群搭建:搭建设计 ### 分配三台Linux,用于安装拥有三个节点的Kafka集群。 Hadoop01 192.168.1.121 Hadoop02 192.168.1.122 Hadoop03 192.168.1.123 一、部署kafka集群:配置hosts文件 ### 以上三台主机的/e 阅读全文

posted @ 2022-04-17 16:21 yanqi_vip 阅读(32) 评论(0) 推荐(0)

|NO.Z.00011|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v11|——|Kylin.v02|HBase集群部署|

摘要: 一、HBase集群安装部署 ### 下载安装包 ~~~ # 下载HBase版本包 [root@hadoop01 software]# wget http://archive.apache.org/dist/hbase/1.3.1/hbase-1.3.1-bin.tar.gz ### 解压安装包到指定 阅读全文

posted @ 2022-04-17 16:21 yanqi_vip 阅读(17) 评论(0) 推荐(0)

|NO.Z.00007|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v07|——|ClickHouse.v07|ClickHouse链接kafka|

摘要: 一、ClickHouse链接Kafka ### ClickHouse链接Kafka:此引擎与 Apache Kafka 结合使用。 ~~~ # Kafka 特性: ~~~ 发布或者订阅数据流。 ~~~ 容错存储机制。 ~~~ 处理流数据。 ### 链接语法格式 ~~~ # 老版格式: Kafka(k 阅读全文

posted @ 2022-04-17 16:20 yanqi_vip 阅读(72) 评论(0) 推荐(0)

|NO.Z.00008|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v08|——|ClickHouse.v08|ClickHouse链接JDBC|

摘要: 一、JDBC ### ClickHouse链接JDBC ~~~ 允许CH通过 JDBC 连接到外部数据库。 ~~~ 要实现JDBC连接,CH需要使用以后台进程运行的程序 clickhouse-jdbc-bridge。 ~~~ 该引擎支持 Nullable 数据类型。 ### 建表语法 CREATE 阅读全文

posted @ 2022-04-17 16:20 yanqi_vip 阅读(16) 评论(0) 推荐(0)

|NO.Z.00006|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v06|——|ClickHouse.v06|ClickHouse链接MySQL|

摘要: 一、ClickHouse链接mysql ### mysql说明 ~~~ MySQL 引擎可以对存储在远程 MySQL 服务器上的数据执行 SELECT 查询。 ### 调用格式: MySQL('host:port', 'database', 'table', 'user', 'password'[, 阅读全文

posted @ 2022-04-17 16:19 yanqi_vip 阅读(21) 评论(0) 推荐(0)

|NO.Z.00003|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v03|——|ClickHouse.v03|表引擎|MergeTree|MergeTree存储策略|JBOC策略|

摘要: 一、JBOD策略 ### 配置方式在config.xml配置文件中指定: ~~~ # 在集群主机上config.xml配置JBOD策略 [root@hadoop01 ~]# vim /etc/clickhouse-server/config.xml ~~~ 在config.xml文件最后一行:</y 阅读全文

posted @ 2022-04-17 16:18 yanqi_vip 阅读(63) 评论(0) 推荐(0)

|NO.Z.00004|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v04|——|ClickHouse.v04|表引擎|MergeTree|MergeTree存储策略|HOT/COLD策略|

摘要: 一、HOT/COLD策略 ### 配置方式在config.xml配置文件中指定: ~~~ # 在集群主机上config.xml配置JBOD策略 [root@hadoop01 ~]# vim /etc/clickhouse-server/config.xml ~~~ 在config.xml文件最后一行 阅读全文

posted @ 2022-04-17 16:18 yanqi_vip 阅读(35) 评论(0) 推荐(0)

|NO.Z.00005|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v05|——|ClickHouse.v05|ClickHouse链接HDFS|

摘要: 一、HDFS ### HDFS ~~~ 该引擎提供了集成 Apache Hadoop 生态系统通过允许管理数据 HDFS通过ClickHouse. ~~~ 这个引擎是相似的 到 文件和 URL 引擎,但提供Hadoop特定的功能。 ### 用途 ~~~ 该 URI 参数是HDFS中的整个文件URI。 阅读全文

posted @ 2022-04-17 16:18 yanqi_vip 阅读(21) 评论(0) 推荐(0)

|NO.Z.00002|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v02|——|ClickHouse.v02|表引擎|MergeTree存储策略|默认策略|

摘要: 一、MergeTree存储策略配置 ### 整体配置:配置mergetree存储配置方案 ~~~ 所有主机创建mergetree存储目录 [root@hadoop01 ~]# mkdir -p /var/lib/clickhouse/chbase/colddata [root@hadoop01 ~] 阅读全文

posted @ 2022-04-17 16:17 yanqi_vip 阅读(52) 评论(0) 推荐(0)

|NO.Z.00001|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v01|——|ClickHouse.v01|单击模式|集群模式|

摘要: 一、ClickHouse下载 ### 下载地址 ~~~ 官网:https://clickhouse.yandex/ ~~~ 下载地址:http://repo.red-soft.biz/repos/clickhouse/stable/el6/ 二、ClickHouse单击模式安装 ### 单机模式:h 阅读全文

posted @ 2022-04-17 16:16 yanqi_vip 阅读(27) 评论(0) 推荐(0)

|NO.R.10000|——————————|Navigation|~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 16:15 yanqi_vip 阅读(8) 评论(0) 推荐(0)

|NO.Z.00000|——————————|Deployment|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 16:15 yanqi_vip 阅读(8) 评论(0) 推荐(0)

|NO.R.00004|——————————|Navigation|————|服务启动导航.v04|————|NTP.v04|时间同步服务器配置:方案二|

摘要: 一、安装ntp服务 ### 安装ntp服务 ~~~ # hadoop01、hadoop02、hadoop03安装ntp服务: [root@hadoop01 ~]# yum -y install ntp ### 配置文件修改 ~~~ # 修改ntp.conf配置文件:hadoop01、hadoop02 阅读全文

posted @ 2022-04-17 16:15 yanqi_vip 阅读(28) 评论(0) 推荐(0)

|NO.R.00002|——————————|Navigation|————|服务启动导航.v02|————|Hadoop.v02|yarn调整map&reduce参数.v02|

摘要: 附录一:Mapreduce内存参数调整一: ### 在mapreduce配置文件下配置 [root@hadoop02 ~]# vim /opt/yanqi/servers/hadoop-2.9.2/etc/hadoop/mapred-site.xml <!-- 设置map、reduce合理内存参数 阅读全文

posted @ 2022-04-17 16:14 yanqi_vip 阅读(33) 评论(0) 推荐(0)

|NO.R.00003|——————————|Navigation|————|服务启动导航.v03|————|zookeeper.v03|集群搭建|

摘要: 一、Zookeeper环境搭建:HA模式 ### 下载并解版本包 [root@hadoop02 ~]# ls /opt/yanqi/software/zookeeper-3.4.14.tar.gz /opt/yanqi/software/zookeeper-3.4.14.tar.gz [root@h 阅读全文

posted @ 2022-04-17 16:14 yanqi_vip 阅读(28) 评论(0) 推荐(0)

|NO.R.00001|——————————|Navigation|————|服务启动导航.v01|————|Hadoop.v01|yarn调整map&reduce参数.v01|

摘要: 附录一:报错处理一: ### 报错现象: ~~~ 卡在这个位置不会动,数据没有加载 ~~~ 在执行这个的时候,把history打开,用于监控错误信息 [root@hadoop02 ~]# sh $SCRIPT_HOME/dwd_load_startlog.sh 2020-07-21 Cannot r 阅读全文

posted @ 2022-04-17 16:13 yanqi_vip 阅读(35) 评论(0) 推荐(0)

|NO.R.00000|——————————|Navigation|~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 16:12 yanqi_vip 阅读(9) 评论(0) 推荐(0)

|NO.Z.10000|——————————|Deployment|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 16:11 yanqi_vip 阅读(13) 评论(0) 推荐(0)

导航