摘要： 一、HBase shell 基本操作 ### 进入Hbase客户端命令操作界面 ~~~ # 进入hbase客户端 [root@hadoop01 ~]# hbase shell ~~~ # 查看帮助命令 hbase(main):004:0> help ~~~ # 查看当前数据库有哪些表 hbase(m 阅读全文

摘要： 一、安装和运行 ### 安装前提和准备 ~~~ # 硬件： ~~~ 一台或者多台机器跑kudu-master。 ~~~ 建议跑一个master(无容错机制)、 ~~~ 三个master(允许一个节点运行出错)或者五个master(允许两个节点出错)。 ~~~ 一台或者多台机器跑kudu-tserve 阅读全文

摘要： 一、集群搭建：搭建设计 ### 分配三台Linux，用于安装拥有三个节点的Kafka集群。 Hadoop01 192.168.1.121 Hadoop02 192.168.1.122 Hadoop03 192.168.1.123 一、部署kafka集群：配置hosts文件 ### 以上三台主机的/e 阅读全文

摘要： 一、HBase集群安装部署 ### 下载安装包 ~~~ # 下载HBase版本包 [root@hadoop01 software]# wget http://archive.apache.org/dist/hbase/1.3.1/hbase-1.3.1-bin.tar.gz ### 解压安装包到指定 阅读全文

摘要： 一、ClickHouse链接Kafka ### ClickHouse链接Kafka：此引擎与 Apache Kafka 结合使用。 ~~~ # Kafka 特性： ~~~ 发布或者订阅数据流。 ~~~ 容错存储机制。 ~~~ 处理流数据。 ### 链接语法格式 ~~~ # 老版格式： Kafka(k 阅读全文

摘要： 一、JDBC ### ClickHouse链接JDBC ~~~ 允许CH通过 JDBC 连接到外部数据库。 ~~~ 要实现JDBC连接，CH需要使用以后台进程运行的程序 clickhouse-jdbc-bridge。 ~~~ 该引擎支持 Nullable 数据类型。 ### 建表语法 CREATE 阅读全文

摘要： 一、ClickHouse链接mysql ### mysql说明 ~~~ MySQL 引擎可以对存储在远程 MySQL 服务器上的数据执行 SELECT 查询。 ### 调用格式： MySQL('host:port', 'database', 'table', 'user', 'password'[, 阅读全文

摘要： 一、JBOD策略 ### 配置方式在config.xml配置文件中指定： ~~~ # 在集群主机上config.xml配置JBOD策略 [root@hadoop01 ~]# vim /etc/clickhouse-server/config.xml ~~~ 在config.xml文件最后一行：</y 阅读全文

摘要： 一、HOT/COLD策略 ### 配置方式在config.xml配置文件中指定： ~~~ # 在集群主机上config.xml配置JBOD策略 [root@hadoop01 ~]# vim /etc/clickhouse-server/config.xml ~~~ 在config.xml文件最后一行 阅读全文

摘要： 一、HDFS ### HDFS ~~~ 该引擎提供了集成 Apache Hadoop 生态系统通过允许管理数据 HDFS通过ClickHouse. ~~~ 这个引擎是相似的 到 文件和 URL 引擎，但提供Hadoop特定的功能。 ### 用途 ~~~ 该 URI 参数是HDFS中的整个文件URI。 阅读全文

摘要： 一、MergeTree存储策略配置 ### 整体配置：配置mergetree存储配置方案 ~~~ 所有主机创建mergetree存储目录 [root@hadoop01 ~]# mkdir -p /var/lib/clickhouse/chbase/colddata [root@hadoop01 ~] 阅读全文

摘要： 一、ClickHouse下载 ### 下载地址 ~~~ 官网：https://clickhouse.yandex/ ~~~ 下载地址：http://repo.red-soft.biz/repos/clickhouse/stable/el6/ 二、ClickHouse单击模式安装 ### 单机模式：h 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、安装ntp服务 ### 安装ntp服务 ~~~ # hadoop01、hadoop02、hadoop03安装ntp服务： [root@hadoop01 ~]# yum -y install ntp ### 配置文件修改 ~~~ # 修改ntp.conf配置文件：hadoop01、hadoop02 阅读全文

摘要： 附录一：Mapreduce内存参数调整一： ### 在mapreduce配置文件下配置 [root@hadoop02 ~]# vim /opt/yanqi/servers/hadoop-2.9.2/etc/hadoop/mapred-site.xml <!-- 设置map、reduce合理内存参数 阅读全文

摘要： 一、Zookeeper环境搭建：HA模式 ### 下载并解版本包 [root@hadoop02 ~]# ls /opt/yanqi/software/zookeeper-3.4.14.tar.gz /opt/yanqi/software/zookeeper-3.4.14.tar.gz [root@h 阅读全文

摘要： 附录一：报错处理一： ### 报错现象： ~~~ 卡在这个位置不会动，数据没有加载 ~~~ 在执行这个的时候，把history打开，用于监控错误信息 [root@hadoop02 ~]# sh $SCRIPT_HOME/dwd_load_startlog.sh 2020-07-21 Cannot r 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文