上一页 1 ··· 3 4 5 6 7 8 9 10 11 ··· 69 下一页

2022年4月16日

|NO.Z.00007|——————————|BigDataEnd|——|Hadoop&Python.v07|——|Arithmetic.v07|语法:核心语法&数据类型.V1|

摘要: 一、数据类型 ### 数据类型 ~~~ 如果有学习过其他编程语言的同学, ~~~ 可能在学习变量的时候就会想问,在Python中定义一个变量的时候,怎么没有先声明它的类型呢? ~~~ 这正是Python的简洁高效之处。变量在Python中是不区分类型的, ~~~ 但它的值有类型,不同的值有不同的类型 阅读全文

posted @ 2022-04-16 14:24 yanqi_vip 阅读(32) 评论(0) 推荐(0)

|NO.Z.00003|——————————|^^ 配置 ^^|——|Hadoop&Python.v03|——|Arithmetic.v03|基础|Python310安装.V1|

摘要: 一、Python310安装配置 1、下载地址:https://www.python.org/ftp/python/3.10.1/python-3.10.1-amd64.exe 2、自定义安装 3、自定义插件安装 4、更改安装目录 5、安装成功 二、配置环境变量: 1、配置系统环境变量:配置Pytho 阅读全文

posted @ 2022-04-16 14:23 yanqi_vip 阅读(43) 评论(0) 推荐(0)

|NO.Z.00004|——————————|^^ 配置 ^^|——|Hadoop&Python.v04|——|Arithmetic.v04|基础:PyCharm.20200205安装.V2|

摘要: 一、PyCharm.20200205安装 1、下载地址: https://www.jetbrains.com/pycharm/download/download-thanks.html?platform=windows&code=PCC 2、安装PyCharm.20200205 3、更改安装目录 4 阅读全文

posted @ 2022-04-16 14:23 yanqi_vip 阅读(28) 评论(0) 推荐(0)

|NO.Z.00001|——————————|BigDataEnd|——|Hadoop&Python.v01|——|Arithmetic.v01|基础|概述|

摘要: 一、Python入门:Python语言介绍:为什么使用Python进行数据分析 ### Python入门:Python语言介绍:为什么使用Python进行数据分析 ~~~ 数据分析本身是一份非常古老的工作,随着互联网、大数据的发展, ~~~ 现在人类每一年创造的数据量是之前人类历史的总和! ~~~ 阅读全文

posted @ 2022-04-16 14:22 yanqi_vip 阅读(24) 评论(0) 推荐(0)

|NO.Z.00002|——————————|BigDataEnd|——|Hadoop&Python.v02|——|Arithmetic.v02|基础|安装|

摘要: 一、Python安装及配置 ### Python版本介绍 ~~~ Python目前有两个版本共存,Python 2 和 Python 3, ~~~ 其中Python官方宣布:Python 2于2020年1月1日起不再维护, ~~~ 所以如果你现在开始学Python,肯定是要学习Python3了。 ~ 阅读全文

posted @ 2022-04-16 14:22 yanqi_vip 阅读(52) 评论(0) 推荐(0)

|NO.Z.00000|——————————|BigDataEnd|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-16 14:21 yanqi_vip 阅读(13) 评论(0) 推荐(0)

|NO.Z.00078|——————————|BigDataEnd|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-16 14:20 yanqi_vip 阅读(10) 评论(0) 推荐(0)

|NO.Z.10000|——————————|BigDataEnd|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-16 14:20 yanqi_vip 阅读(12) 评论(0) 推荐(0)

|NO.Z.00077|——————————|^^ 编程 ^^|——|Hadoop&实时数仓.V03|——|实时数仓.v03|在Hadoop集群环境运行实时数仓程序.V3|

摘要: 一、运行OrderStatistics ### 复制类的绝对路径 ~~~ # 选中类名:Copy Reference dw.dws.OrderStatistics ### 运行类 ~~~ # 运行主类:OrderStatistics [root@hadoop02 ~]# /opt/yanqi/ser 阅读全文

posted @ 2022-04-16 14:19 yanqi_vip 阅读(26) 评论(0) 推荐(0)

|NO.Z.00075|——————————|^^ 编程 ^^|——|Hadoop&实时数仓.V01|——|实时数仓.v01|在Hadoop集群环境运行实时数仓程序.V1|

摘要: 一、在真实服务器集群环境上运行:在pom.xml下写入打包插件 <build> <sourceDirectory>src/main/scala</sourceDirectory> <testSourceDirectory>src/test/</testSourceDirectory> <plugin 阅读全文

posted @ 2022-04-16 14:18 yanqi_vip 阅读(25) 评论(0) 推荐(0)

|NO.Z.00076|——————————|^^ 编程 ^^|——|Hadoop&实时数仓.V02|——|实时数仓.v02|在Hadoop集群环境运行实时数仓程序.V2|

摘要: 一、启动集群环境相关服务 ### 启动zookeeper/kafka服务 ~~~ # 启动zookeeper服务 [root@hadoop01 ~]# ./zk.sh start ~~~ # 启动kafka服务:所有节点 [root@hadoop01 ~]# kafka-server-start.s 阅读全文

posted @ 2022-04-16 14:18 yanqi_vip 阅读(16) 评论(0) 推荐(0)

|NO.Z.00072|——————————|BigDataEnd|——|Hadoop&实时数仓.V03|——|实时数仓.v03|Flink双流Join&基于window双流Join|

摘要: 一、基于window双流Join ### 基于window双流Join ### 基于window双流Join ~~~ input1:(1,1999L) (1,2001L) ~~~ input2:(1,1001L),(1,1002L),(1,3999) 二、编程实现基于window双流Join ### 阅读全文

posted @ 2022-04-16 14:17 yanqi_vip 阅读(24) 评论(0) 推荐(0)

|NO.Z.00073|——————————|BigDataEnd|——|Hadoop&实时数仓.V04|——|实时数仓.v04|Flink双流Join&connect CoProcessFunction处理双流数据|

摘要: 一、connect CoProcessFunction ### connect CoProcessFunction处理双流数据 ~~~ # input1: OrderEvent(orderId:String,eventType:String,eventTime:Long) : 订单 流式数据 ("o 阅读全文

posted @ 2022-04-16 14:17 yanqi_vip 阅读(22) 评论(0) 推荐(0)

|NO.Z.00074|——————————|BigDataEnd|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-16 14:17 yanqi_vip 阅读(21) 评论(0) 推荐(0)

|NO.Z.00070|——————————|BigDataEnd|——|Hadoop&实时数仓.V01|——|实时数仓.v01|数据质量|

摘要: 一、实时数仓——数据质量 ### 数据质量概述 ~~~ 流程图描述了一般的实时数据计算流程,接收日志或者MQ到kafka, ~~~ 用Flink进行处理和计算(指标),将最终计算结果(指标)存储在redis中, ~~~ 最后查询出redis中的数据给大屏、看板等展示。 ~~~ 但是在整个过程中,不得 阅读全文

posted @ 2022-04-16 14:16 yanqi_vip 阅读(60) 评论(0) 推荐(0)

|NO.Z.00071|——————————|BigDataEnd|——|Hadoop&实时数仓.V02|——|实时数仓.v02|Flink双流Join&基于时间的双流Join|

摘要: 一、Flink双流Join ### Flink双流Join ~~~ Join大体分类只有两种:Window Join和Interval Join。 ~~~ # Window Join ~~~ 又可以根据Window的类型细分出3种: ~~~ Tumbling Window Join、Sliding 阅读全文

posted @ 2022-04-16 14:16 yanqi_vip 阅读(29) 评论(0) 推荐(0)

|NO.Z.00068|——————————|^^ 配置 ^^|——|Hadoop&实时数仓.V08|——|可视化.v08|监控:grafana可视化实时redis数据.V8|

摘要: 一、安装grafana-redis插件 ### 安装grafanan-redis插件 ~~~ # 安装grafana-redis插件 [root@hadoop00 ~]# /opt/yanqi/servers/grafana/bin/grafana-cli plugins install redis 阅读全文

posted @ 2022-04-16 14:15 yanqi_vip 阅读(150) 评论(0) 推荐(0)

|NO.Z.00069|——————————|BigDataEnd|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-16 14:15 yanqi_vip 阅读(11) 评论(0) 推荐(0)

|NO.Z.00066|——————————|^^ 部署 ^^|——|Hadoop&实时数仓.V06|——|可视化.v06|监控:grafana部署.V6|

摘要: 一、通过grafana工具监控,可视化效果友好: ### 下载grafana版本 ~~~ # 下载grafana版本包 [root@hadoop00 software]# wget -c https://dl.grafana.com/oss/release/grafana-7.3.1.linux-a 阅读全文

posted @ 2022-04-16 14:14 yanqi_vip 阅读(37) 评论(0) 推荐(0)

|NO.Z.00067|——————————|^^ 配置 ^^|——|Hadoop&实时数仓.V07|——|可视化.v07|监控:grafana可视化flink指标.V7|

摘要: 一、在prometheus下添加数据源 ### 配置数据源流程 ~~~ ——>http://hadoop00:3000——>Configuration——>Data Sources——> ~~~ ——>Add data source——>Prometheus——> ~~~ ——>Name:prome 阅读全文

posted @ 2022-04-16 14:14 yanqi_vip 阅读(18) 评论(0) 推荐(0)

|NO.Z.00064|——————————|^^ 部署 ^^|——|Hadoop&实时数仓.V04|——|可视化.v04|监控:pushgateway部署.V4|

摘要: 一、部署pushgateway: ### pushgateway ~~~ Pushgateway 是 Prometheus 生态中一个重要工具,使用它的原因主要是: ~~~ Prometheus 采用 pull 模式,可能由于不在一个子网或者防火墙原因, ~~~ 导致 Prometheus 无法直接 阅读全文

posted @ 2022-04-16 14:13 yanqi_vip 阅读(31) 评论(0) 推荐(0)

|NO.Z.00065|——————————|^^ 配置 ^^|——|Hadoop&实时数仓.V05|——|可视化.v05|监控:Flink配置.V5|

摘要: 一、修改flink配置,开放flink被监控端口 ### 把prometheus的jar包复制到flink的lib目录下 ~~~ # 把prometheus的jar包复制到flink的lib目录下 ~~~ # prometheus的jar包的地址在flink的plugin目录下:/opt/yanqi 阅读全文

posted @ 2022-04-16 14:13 yanqi_vip 阅读(32) 评论(0) 推荐(0)

|NO.Z.00062|——————————|^^ 部署 ^^|——|Hadoop&实时数仓.V02|——|可视化.v02|监控:Prometheus部署.V2|

摘要: 一、prometheus部署:安装go语言环境 ### 下载版本包并解压 ~~~ # 由于Prometheus 是用golang开发的,所以首先安装一个go环境,Go语言是跨平台,支持Windows、Linux、 ~~~ # Windows :go1.8.3.windows-amd64.msi (7 阅读全文

posted @ 2022-04-16 14:12 yanqi_vip 阅读(119) 评论(0) 推荐(0)

|NO.Z.00063|——————————|^^ 部署 ^^|——|Hadoop&实时数仓.V03|——|可视化.v03|监控:node_exporter部署.V3|

摘要: 一、部署prometheus-exporter ### 在系统层用作系统监控exporter ~~~ # 下载exporter版本包,主机是centos系统;因此用的监控export是node_exporter-0.16.0.linux-amd64.tar.gz , [root@hadoop00 s 阅读全文

posted @ 2022-04-16 14:12 yanqi_vip 阅读(19) 评论(0) 推荐(0)

|NO.Z.00061|——————————|^^ 部署 ^^|——|Hadoop&实时数仓.V01|——|可视化.v01|监控:Prometheus部署.V1|

摘要: 一、系统实时监控&可视化 ### 普罗米修斯Prometheus ~~~ # 功能:在业务层用作埋点系统 ~~~ Prometheus支持多种语言(Go,java,python,ruby官方提供客户端, ~~~ 其他语言有第三方开源客户端)。我们可以通过客户端方便的对核心业务进行埋点。 ~~~ 如下 阅读全文

posted @ 2022-04-16 14:11 yanqi_vip 阅读(27) 评论(0) 推荐(0)

|NO.Z.00059|——————————|BigDataEnd|——|Hadoop&实时数仓.V39|——|项目.v39|需求六:数据处理&支付异常.V2|——|编程实现|

摘要: 一、编程实现:交易支付异常统计 ### 编程实现:样例类:OrderDetail package modes case class OrderDetail(orderId:String, status:String, orderCreateTime:String, price:Double) ### 阅读全文

posted @ 2022-04-16 14:10 yanqi_vip 阅读(41) 评论(0) 推荐(0)

|NO.Z.00060|——————————|BigDataEnd|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-16 14:10 yanqi_vip 阅读(9) 评论(0) 推荐(0)

|NO.Z.00057|——————————|BigDataEnd|——|Hadoop&实时数仓.V37|——|项目.v37|需求五:数据处理&渠道来源统计.V3|——|编译打印|

摘要: 一、启动相关服务:显示:黑名单用户ID、广告ID、点击数 ### 启动相关服务 ~~~ # 启动zookeeper服务 [root@hadoop01 ~]# ./zk.sh start ~~~ # 启动kafka服务:所有节点 [root@hadoop01 ~]# kafka-server-star 阅读全文

posted @ 2022-04-16 14:09 yanqi_vip 阅读(28) 评论(0) 推荐(0)

|NO.Z.00058|——————————|BigDataEnd|——|Hadoop&实时数仓.V38|——|项目.v38|需求六:数据处理&支付异常.V1|——|需求分析|

摘要: 一、需求6:交易支付异常 二、数据格式 9390,1,2020-07-28 00:15:11,295 5990,1,2020-07-28 00:16:12,165 9390,2,2020-07-28 00:18:11,295 5990,2,2020-07-28 00:18:12,165 9390,3 阅读全文

posted @ 2022-04-16 14:09 yanqi_vip 阅读(35) 评论(0) 推荐(0)

|NO.Z.00055|——————————|BigDataEnd|——|Hadoop&实时数仓.V35|——|项目.v35|需求五:数据处理&渠道来源统计.V1|——|需求分析|

摘要: 一、需求5:实时统计各渠道来源用户数量 二、编程实现工具类:SourceKafka package myutils import java.util.Properties import org.apache.flink.api.common.serialization.SimpleStringSch 阅读全文

posted @ 2022-04-16 14:08 yanqi_vip 阅读(22) 评论(0) 推荐(0)

|NO.Z.00056|——————————|BigDataEnd|——|Hadoop&实时数仓.V36|——|项目.v36|需求五:数据处理&渠道来源统计.V2|——|编程实现|

摘要: 一、编程实现:ChanalStatistics:实时统计各渠道来源用户数量 package dw.dws import com.alibaba.fastjson.{JSON, JSONObject} import modes.{ChanalDetail, CountByChannal} import 阅读全文

posted @ 2022-04-16 14:08 yanqi_vip 阅读(52) 评论(0) 推荐(0)

|NO.Z.00054|——————————|BigDataEnd|——|Hadoop&实时数仓.V34|——|项目.v34|需求四:数据处理&黑名单统计.V3|——|编译打印|

摘要: 一、启动相关服务:显示:黑名单用户ID、广告ID、点击数 ### 启动相关服务 ~~~ # 启动zookeeper服务 [root@hadoop01 ~]# ./zk.sh start ~~~ # 启动kafka服务:所有节点 [root@hadoop01 ~]# kafka-server-star 阅读全文

posted @ 2022-04-16 14:07 yanqi_vip 阅读(25) 评论(0) 推荐(0)

|NO.Z.00051|——————————|BigDataEnd|——|Hadoop&实时数仓.V31|——|项目.v31|需求三:数据处理&增量统计广告.V5|——|编译打印|

摘要: 一、启动相关服务 ### 启动相关服务 ~~~ # 启动zookeeper服务 [root@hadoop01 ~]# ./zk.sh start ~~~ # 启动kafka服务:所有节点 [root@hadoop01 ~]# kafka-server-start.sh -daemon /opt/ya 阅读全文

posted @ 2022-04-16 14:06 yanqi_vip 阅读(20) 评论(0) 推荐(0)

|NO.Z.00052|——————————|BigDataEnd|——|Hadoop&实时数仓.V32|——|项目.v32|需求四:数据处理&黑名单统计.V1|——|需求分析|

摘要: 一、需求4:显示:黑名单用户ID、广告ID、点击数 Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both han 阅读全文

posted @ 2022-04-16 14:06 yanqi_vip 阅读(19) 评论(0) 推荐(0)

|NO.Z.00053|——————————|BigDataEnd|——|Hadoop&实时数仓.V33|——|项目.v33|需求四:数据处理&黑名单统计.V2|——|编程实现|

摘要: 一、编程实现:工具类:显示:黑名单用户ID、广告ID、点击数 ### 编程实现:工具类一:SourceKafka package myutils import java.util.Properties import org.apache.flink.api.common.serialization. 阅读全文

posted @ 2022-04-16 14:06 yanqi_vip 阅读(21) 评论(0) 推荐(0)

|NO.Z.00050|——————————|BigDataEnd|——|Hadoop&实时数仓.V30|——|项目.v30|需求三:数据处理&增量统计广告.V4|——|编程实现|

摘要: 一、编程实现:每隔5秒统计最近1小时内广告的点击量$增量统计 package dw.dws import modes.{AdClick, CountByProductAd} import myutils.SourceKafka import java.sql.Date import java.tex 阅读全文

posted @ 2022-04-16 14:05 yanqi_vip 阅读(23) 评论(0) 推荐(0)

|NO.Z.00049|——————————|BigDataEnd|——|Hadoop&实时数仓.V29|——|项目.v29|需求三:数据处理&增量统计广告.V3|——|编程实现|

摘要: 一、编程实现:每隔5秒统计最近1小时内广告的点击量$增量统计 ### 编程实现:工具类一:SourceKafka package myutils import java.util.Properties import org.apache.flink.api.common.serialization. 阅读全文

posted @ 2022-04-16 14:05 yanqi_vip 阅读(22) 评论(0) 推荐(0)

|NO.Z.00048|——————————|BigDataEnd|——|Hadoop&实时数仓.V28|——|项目.v28|需求三:数据处理&增量统计广告.V2|——|Flume配置|

摘要: 一、Flume配置文件: ### flume配置文件:event-conf.properties ~~~ # 写入Flume配置文件:event-conf.properties [root@hadoop02 ~]# vim /opt/yanqi/servers/flume-1.9.0/conf/ev 阅读全文

posted @ 2022-04-16 14:04 yanqi_vip 阅读(33) 评论(0) 推荐(0)

|NO.Z.00046|——————————|BigDataEnd|——|Hadoop&实时数仓.V26|——|项目.v26|需求二:数据处理&增量统计.V4|——|编译打印|

摘要: 一、启动相关服务 ### 启动相关服务 ~~~ # 启动zookeeper服务 [root@hadoop01 ~]# ./zk.sh start ~~~ # 启动kafka服务:所有节点 [root@hadoop01 ~]# kafka-server-start.sh -daemon /opt/ya 阅读全文

posted @ 2022-04-16 14:03 yanqi_vip 阅读(31) 评论(0) 推荐(0)

|NO.Z.00047|——————————|BigDataEnd|——|Hadoop&实时数仓.V27|——|项目.v27|需求三:数据处理&增量统计广告.V1|——|需求分析|

摘要: 一、需求3:每隔5秒统计最近1小时内广告的点击量 增量 二、实现步骤 ### 实现步骤 ~~~ 获取数据源(input) flume ~~~ 转化 ~~~ 数据源的格式:area:uid:product_id:time: 样例类中AdClick;过滤操作filter product_id != nu 阅读全文

posted @ 2022-04-16 14:03 yanqi_vip 阅读(32) 评论(0) 推荐(0)

上一页 1 ··· 3 4 5 6 7 8 9 10 11 ··· 69 下一页

导航