大数据小码农

摘要： 1.环境 CDH 5.16.1 Spark 2.3.0.Cloudera4 2.SparkStreaming整合Kafka 地址：http://spark.apache.org/docs/2.3.0/streaming kafka integration.html 两种方式整合： 1. Receiv 阅读全文

摘要： 1.环境 CDH 5.16.1 Spark 2.3.0.cloudera4 2.核心概念 官网： https://spark.apache.org/docs/2.3.0/streaming programming guide.html GitHub： https://github.com/apach 阅读全文

摘要： 1. ClickHouse 查询时，报错：Memory limit (for query) exceeded: would use 9.38 GiB (attempt to allocate chunk of 135439453 bytes), maximum: 9.31 GiB 1.1 Click 阅读全文

摘要： 1.使用WaterDrop 从kafka中消费数据，写入到ClickHouse 1.1 环境 ~~~ SPARK2 2.3.0.cloudera4 1.cdh5.13.3.p0.611179 clickhouse 1.1.54236 4.el7.x86_64 waterdrop 1.4.2 ~~~ 阅读全文

摘要： 1. 环境 CentOS 7.6 2. 安装前准备 2.1 检查是否支持 SSE 4.2 指令集 ~~~ grep q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supported" ~~~ 2.2 C 阅读全文

摘要： 1. 环境 CDH 5.16.1 kafka版本 2.1.0 kafka 4.0.0 ~~~ org.apache.kafka kafka_2.12 2.1.0 kafka 4.0.0 ~~~ 2.生产者 2.1 生产者，带回调函数 ~~~ package com.monk.kafka; impor 阅读全文

摘要： 1.环境 CDH 5.16.1 Centos 7.6 Scala 2.11.8 2.安装前准备 1.下载 Spark2.3 所需的Parcel包 http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera4/ 将三个文件拷贝到 /opt/clo 阅读全文

摘要： 1.环境 CDH 5.16.1 CentOS 7.6 2.安装前准备 1.查看Kafka与CDH版本对应 https://docs.cloudera.com/documentation/enterprise/release notes/topics/rn_consolidated_pcm.html 阅读全文

摘要： 1.环境 CentOS 7.6 CDH 5.16.1 2.服务器环境准备 1.设置 hostname 和 hosts ~~~ vim /etc/hostname ~~~ ~~~ vim /etc/hosts ~~~ 2.关闭SELINUX,将SELINUX=enforcing 改为SELINUX=d 阅读全文

摘要： 1.安装 mysql服务 1.卸载系统自带的相关数据库 ~~~shell rpm qa | grep mysql rpm qa | grep mariadb rpm e nodeps mariadb libs 5.5.60 1.el7_5.x86_64 ~~~ 2.部署Mysql ~~~shell 阅读全文