摘要: 1.下载 nginx 及相关组件 ~~~ wget http://nginx.org/download/nginx 1.10.2.tar.gz wget http://www.openssl.org/source/openssl fips 2.0.10.tar.gz wget http://zlib 阅读全文
posted @ 2020-04-23 22:59 大数据小码农 阅读(99) 评论(0) 推荐(0) 编辑
摘要: 1.数据库架构设计 Shared Everthing:完全透明共享 CPU/MEMORY/IO,并行处理能力是最差的;如:SQL Server Shared Storage:各个处理单元使用自己的私有 CPU 和 Memory,共享磁盘系统; Shared Nothing:各个处理单元都有自己私有的 阅读全文
posted @ 2020-04-23 22:25 大数据小码农 阅读(1979) 评论(0) 推荐(0) 编辑
摘要: #1.版本选型 hadoop-3.1.3 hive-3.1.2 presto-0.233.1 #2.Presto 简介 详细参考:https://prestodb.github.io/docs/current/connector.html ####2.1 Presto 优势 多数据源,支持SQL,自 阅读全文
posted @ 2020-04-02 23:54 大数据小码农 阅读(3869) 评论(1) 推荐(1) 编辑
摘要: 1.项目背景 1.1 MaxWell 介绍 Maxwell是一个守护进程,它能监听并读取MySQL的binlog,然后解析输出为json,支持将数据输出到Kafka、Kinesis或其他流媒体平台,支持库和表的过滤。 地址:https://github.com/zendesk/maxwell 1.2 阅读全文
posted @ 2020-04-02 22:32 大数据小码农 阅读(2213) 评论(0) 推荐(1) 编辑
摘要: #1.框架选型 hadoop-3.1.3 hive-3.1.2 zookeeper-3.5.7 hbase-2.2.3 kafka_2.11-2.4.0 spark-2.4.5-bin-hadoop2.7 #2.安装前准备 1.关闭防火墙 2.安装 JDK 3.安装 Scala 4.配置ssh 免密 阅读全文
posted @ 2020-03-29 23:34 大数据小码农 阅读(1898) 评论(1) 推荐(0) 编辑
摘要: 1. 环境 CDH 5.16.1 2. Hive 使用复杂数据类型 2.1 数据格式 ~~~ 1 zhangsan:man football,basketball 2 lisi:female sing,dance ~~~ 2.2 Hive 建表 ~~~ create table studentInf 阅读全文
posted @ 2020-02-12 01:01 大数据小码农 阅读(1442) 评论(0) 推荐(0) 编辑
摘要: 1.环境 CDH 5.16.1 Spark 2.3.0 cloudera4 Kafka 2.1.0+kafka4.0.0 2.Log4j—— Flume 2.1 Log4j 产生日志 ~~~ import org.apache.log4j.Logger; / @ClassName LoggerGen 阅读全文
posted @ 2020-02-03 23:27 大数据小码农 阅读(220) 评论(0) 推荐(0) 编辑
摘要: 1. 简介 官方文档:https://clickhouse.yandex/docs ClickHouse 是一个 采用列式存储 ,用于联机分析(OLAP)的数据库管理系统(DBMS) 2.ClickHouse 的优点 2.1 "真正"的列式存储 一个真正的列式存储的数据库管理系统中,除了数据本身之外 阅读全文
posted @ 2020-02-02 23:58 大数据小码农 阅读(5936) 评论(0) 推荐(0) 编辑
摘要: 1.环境 CDH 5.16.1 Spark 2.3.0.Cloudera4 2.SparkStreaming整合Kafka 地址:http://spark.apache.org/docs/2.3.0/streaming kafka integration.html 两种方式整合: 1. Receiv 阅读全文
posted @ 2020-02-02 23:52 大数据小码农 阅读(533) 评论(0) 推荐(0) 编辑
摘要: 1.环境 CDH 5.16.1 Spark 2.3.0.cloudera4 2.核心概念 官网: https://spark.apache.org/docs/2.3.0/streaming programming guide.html GitHub: https://github.com/apach 阅读全文
posted @ 2020-02-02 22:26 大数据小码农 阅读(576) 评论(0) 推荐(0) 编辑