摘要：1. 环境 CDH 5.16.1 2. Hive 使用复杂数据类型 2.1 数据格式 ~~~ 1 zhangsan:man football,basketball 2 lisi:female sing,dance ~~~ 2.2 Hive 建表 ~~~ create table studentInf 阅读全文

摘要：1.环境 CDH 5.16.1 Spark 2.3.0 cloudera4 Kafka 2.1.0+kafka4.0.0 2.Log4j—— Flume 2.1 Log4j 产生日志 ~~~ import org.apache.log4j.Logger; / @ClassName LoggerGen 阅读全文

摘要：1. 简介 官方文档：https://clickhouse.yandex/docs ClickHouse 是一个 采用列式存储 ，用于联机分析（OLAP）的数据库管理系统（DBMS） 2.ClickHouse 的优点 2.1 "真正"的列式存储 一个真正的列式存储的数据库管理系统中，除了数据本身之外 阅读全文

摘要：1.环境 CDH 5.16.1 Spark 2.3.0.Cloudera4 2.SparkStreaming整合Kafka 地址：http://spark.apache.org/docs/2.3.0/streaming kafka integration.html 两种方式整合： 1. Receiv 阅读全文

摘要：1.环境 CDH 5.16.1 Spark 2.3.0.cloudera4 2.核心概念 官网： https://spark.apache.org/docs/2.3.0/streaming programming guide.html GitHub： https://github.com/apach 阅读全文