摘要： 一、数据类型 ### 数据类型 ~~~ 如果有学习过其他编程语言的同学， ~~~ 可能在学习变量的时候就会想问，在Python中定义一个变量的时候，怎么没有先声明它的类型呢？ ~~~ 这正是Python的简洁高效之处。变量在Python中是不区分类型的， ~~~ 但它的值有类型，不同的值有不同的类型 阅读全文

摘要： 一、Python310安装配置 1、下载地址：https://www.python.org/ftp/python/3.10.1/python-3.10.1-amd64.exe 2、自定义安装 3、自定义插件安装 4、更改安装目录 5、安装成功 二、配置环境变量： 1、配置系统环境变量：配置Pytho 阅读全文

摘要： 一、PyCharm.20200205安装 1、下载地址： https://www.jetbrains.com/pycharm/download/download-thanks.html?platform=windows&code=PCC 2、安装PyCharm.20200205 3、更改安装目录 4 阅读全文

摘要： 一、Python入门：Python语言介绍：为什么使用Python进行数据分析 ### Python入门：Python语言介绍：为什么使用Python进行数据分析 ~~~ 数据分析本身是一份非常古老的工作，随着互联网、大数据的发展， ~~~ 现在人类每一年创造的数据量是之前人类历史的总和！ ~~~ 阅读全文

摘要： 一、Python安装及配置 ### Python版本介绍 ~~~ Python目前有两个版本共存，Python 2 和 Python 3， ~~~ 其中Python官方宣布：Python 2于2020年1月1日起不再维护， ~~~ 所以如果你现在开始学Python，肯定是要学习Python3了。 ~ 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、运行OrderStatistics ### 复制类的绝对路径 ~~~ # 选中类名：Copy Reference dw.dws.OrderStatistics ### 运行类 ~~~ # 运行主类：OrderStatistics [root@hadoop02 ~]# /opt/yanqi/ser 阅读全文

摘要： 一、在真实服务器集群环境上运行：在pom.xml下写入打包插件 <build> <sourceDirectory>src/main/scala</sourceDirectory> <testSourceDirectory>src/test/</testSourceDirectory> <plugin 阅读全文

摘要： 一、启动集群环境相关服务 ### 启动zookeeper/kafka服务 ~~~ # 启动zookeeper服务 [root@hadoop01 ~]# ./zk.sh start ~~~ # 启动kafka服务：所有节点 [root@hadoop01 ~]# kafka-server-start.s 阅读全文

摘要： 一、基于window双流Join ### 基于window双流Join ### 基于window双流Join ~~~ input1:(1,1999L) (1,2001L) ~~~ input2:(1,1001L),(1,1002L),(1,3999) 二、编程实现基于window双流Join ### 阅读全文

摘要： 一、connect CoProcessFunction ### connect CoProcessFunction处理双流数据 ~~~ # input1: OrderEvent(orderId:String,eventType:String,eventTime:Long) : 订单 流式数据 （"o 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、实时数仓——数据质量 ### 数据质量概述 ~~~ 流程图描述了一般的实时数据计算流程，接收日志或者MQ到kafka， ~~~ 用Flink进行处理和计算(指标），将最终计算结果（指标）存储在redis中， ~~~ 最后查询出redis中的数据给大屏、看板等展示。 ~~~ 但是在整个过程中，不得 阅读全文

摘要： 一、Flink双流Join ### Flink双流Join ~~~ Join大体分类只有两种：Window Join和Interval Join。 ~~~ # Window Join ~~~ 又可以根据Window的类型细分出3种： ~~~ Tumbling Window Join、Sliding 阅读全文

摘要： 一、安装grafana-redis插件 ### 安装grafanan-redis插件 ~~~ # 安装grafana-redis插件 [root@hadoop00 ~]# /opt/yanqi/servers/grafana/bin/grafana-cli plugins install redis 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、通过grafana工具监控，可视化效果友好： ### 下载grafana版本 ~~~ # 下载grafana版本包 [root@hadoop00 software]# wget -c https://dl.grafana.com/oss/release/grafana-7.3.1.linux-a 阅读全文

摘要： 一、在prometheus下添加数据源 ### 配置数据源流程 ~~~ ——>http://hadoop00:3000——>Configuration——>Data Sources——> ~~~ ——>Add data source——>Prometheus——> ~~~ ——>Name：prome 阅读全文

摘要： 一、部署pushgateway: ### pushgateway ~~~ Pushgateway 是 Prometheus 生态中一个重要工具，使用它的原因主要是： ~~~ Prometheus 采用 pull 模式，可能由于不在一个子网或者防火墙原因， ~~~ 导致 Prometheus 无法直接 阅读全文

摘要： 一、修改flink配置，开放flink被监控端口 ### 把prometheus的jar包复制到flink的lib目录下 ~~~ # 把prometheus的jar包复制到flink的lib目录下 ~~~ # prometheus的jar包的地址在flink的plugin目录下：/opt/yanqi 阅读全文

摘要： 一、prometheus部署：安装go语言环境 ### 下载版本包并解压 ~~~ # 由于Prometheus 是用golang开发的，所以首先安装一个go环境，Go语言是跨平台，支持Windows、Linux、 ~~~ # Windows ：go1.8.3.windows-amd64.msi (7 阅读全文

摘要： 一、部署prometheus-exporter ### 在系统层用作系统监控exporter ~~~ # 下载exporter版本包，主机是centos系统；因此用的监控export是node_exporter-0.16.0.linux-amd64.tar.gz ， [root@hadoop00 s 阅读全文

摘要： 一、系统实时监控&可视化 ### 普罗米修斯Prometheus ~~~ # 功能：在业务层用作埋点系统 ~~~ Prometheus支持多种语言（Go，java，python，ruby官方提供客户端， ~~~ 其他语言有第三方开源客户端）。我们可以通过客户端方便的对核心业务进行埋点。 ~~~ 如下 阅读全文

摘要： 一、编程实现：交易支付异常统计 ### 编程实现：样例类：OrderDetail package modes case class OrderDetail(orderId:String, status:String, orderCreateTime:String, price:Double) ### 阅读全文

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

摘要： 一、启动相关服务：显示：黑名单用户ID、广告ID、点击数 ### 启动相关服务 ~~~ # 启动zookeeper服务 [root@hadoop01 ~]# ./zk.sh start ~~~ # 启动kafka服务：所有节点 [root@hadoop01 ~]# kafka-server-star 阅读全文

摘要： 一、需求6：交易支付异常 二、数据格式 9390,1,2020-07-28 00:15:11,295 5990,1,2020-07-28 00:16:12,165 9390,2,2020-07-28 00:18:11,295 5990,2,2020-07-28 00:18:12,165 9390,3 阅读全文

摘要： 一、需求5：实时统计各渠道来源用户数量 二、编程实现工具类：SourceKafka package myutils import java.util.Properties import org.apache.flink.api.common.serialization.SimpleStringSch 阅读全文

摘要： 一、编程实现：ChanalStatistics：实时统计各渠道来源用户数量 package dw.dws import com.alibaba.fastjson.{JSON, JSONObject} import modes.{ChanalDetail, CountByChannal} import 阅读全文

摘要： 一、启动相关服务：显示：黑名单用户ID、广告ID、点击数 ### 启动相关服务 ~~~ # 启动zookeeper服务 [root@hadoop01 ~]# ./zk.sh start ~~~ # 启动kafka服务：所有节点 [root@hadoop01 ~]# kafka-server-star 阅读全文

摘要： 一、启动相关服务 ### 启动相关服务 ~~~ # 启动zookeeper服务 [root@hadoop01 ~]# ./zk.sh start ~~~ # 启动kafka服务：所有节点 [root@hadoop01 ~]# kafka-server-start.sh -daemon /opt/ya 阅读全文

摘要： 一、需求4：显示：黑名单用户ID、广告ID、点击数 Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both han 阅读全文

摘要： 一、编程实现：工具类：显示：黑名单用户ID、广告ID、点击数 ### 编程实现：工具类一：SourceKafka package myutils import java.util.Properties import org.apache.flink.api.common.serialization. 阅读全文

摘要： 一、编程实现：每隔5秒统计最近1小时内广告的点击量$增量统计 package dw.dws import modes.{AdClick, CountByProductAd} import myutils.SourceKafka import java.sql.Date import java.tex 阅读全文

摘要： 一、编程实现：每隔5秒统计最近1小时内广告的点击量$增量统计 ### 编程实现：工具类一：SourceKafka package myutils import java.util.Properties import org.apache.flink.api.common.serialization. 阅读全文

摘要： 一、Flume配置文件： ### flume配置文件：event-conf.properties ~~~ # 写入Flume配置文件：event-conf.properties [root@hadoop02 ~]# vim /opt/yanqi/servers/flume-1.9.0/conf/ev 阅读全文

摘要： 一、启动相关服务 ### 启动相关服务 ~~~ # 启动zookeeper服务 [root@hadoop01 ~]# ./zk.sh start ~~~ # 启动kafka服务：所有节点 [root@hadoop01 ~]# kafka-server-start.sh -daemon /opt/ya 阅读全文

摘要： 一、需求3：每隔5秒统计最近1小时内广告的点击量 增量 二、实现步骤 ### 实现步骤 ~~~ 获取数据源（input） flume ~~~ 转化 ~~~ 数据源的格式：area：uid：product_id：time: 样例类中AdClick；过滤操作filter product_id ！= nu 阅读全文