2022年4月16日

|NO.Z.10000|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-16 14:54 yanqi_vip 阅读(12) 评论(0) 推荐(0)

|NO.Z.00060|——————————|BigDataEnd|——|Hadoop&Python.v07|——|Arithmetic.v07|Matplotlib数据可视化：Matplotlib3D图形|

摘要： 一、3D图形：三维折线图散点图 import numpy as np import matplotlib.pyplot as plt from mpl_toolkits.mplot3d.axes3d import Axes3D # 3D引擎 x = np.linspace(0,60,300) y = 阅读全文

posted @ 2022-04-16 14:53 yanqi_vip 阅读(42) 评论(0) 推荐(0)

|NO.Z.00061|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-16 14:53 yanqi_vip 阅读(17) 评论(0) 推荐(0)

|NO.Z.00058|——————————|BigDataEnd|——|Hadoop&Python.v05|——|Arithmetic.v05|Matplotlib数据可视化：Matplotlib文本注释箭头|

摘要： 一、文本、注释、箭头：常用函数如下： Pyplot函数 API方法 描述 text() mpl.axes.Axes.text() 在Axes对象的任意位置添加文字 xlabel() mpl.axes.Axes.set_xlabel() 为X轴添加标签 ylabel() mpl.axes.Axes.s 阅读全文

posted @ 2022-04-16 14:52 yanqi_vip 阅读(43) 评论(0) 推荐(0)

|NO.Z.00059|——————————|BigDataEnd|——|Hadoop&Python.v06|——|Arithmetic.v06|Matplotlib数据可视化：Matplotlib常用视图|

摘要： 一、常用视图：折线图 import numpy as np import matplotlib.pyplot as plt x = np.random.randint(0,10,size = 15) # 一图多线 plt.figure(figsize=(9,6)) plt.plot(x,marker 阅读全文

posted @ 2022-04-16 14:52 yanqi_vip 阅读(56) 评论(0) 推荐(0)

|NO.Z.00056|——————————|BigDataEnd|——|Hadoop&Python.v03|——|Arithmetic.v03|Matplotlib数据可视化：Matplotlib风格样式|

摘要： 一、风格和样式：颜色、线形、点形、线宽、透明度 import numpy as np import matplotlib.pyplot as plt x = np.linspace(0,2*np.pi,20) y1 = np.sin(x) y2 = np.cos(x) # 设置颜色，线型，点型 pl 阅读全文

posted @ 2022-04-16 14:51 yanqi_vip 阅读(19) 评论(0) 推荐(0)

|NO.Z.00057|——————————|BigDataEnd|——|Hadoop&Python.v04|——|Arithmetic.v04|Matplotlib数据可视化：Matplotlib多图布局|

摘要： 一、多图布局：子视图 import numpy as np import matplotlib.pyplot as plt x = np.linspace(-np.pi,np.pi,50) y = np.sin(x) # 子视图1 plt.figure(figsize=(9,6)) ax = plt 阅读全文

posted @ 2022-04-16 14:51 yanqi_vip 阅读(38) 评论(0) 推荐(0)

|NO.Z.00054|——————————|^^ 配置 ^^|——|Hadoop&Python.v01|——|Arithmetic.v01|Matplotlib数据可视化：Matplotlib模块安装|

摘要： 一、Matplotlib模块安装 ### 在windows.dos下安装Matplotlib C:\Users\Administrator>pip install pandas -i https://pypi.tuna.tsinghua.edu.cn/simple ~~~输出参数 Installin 阅读全文

posted @ 2022-04-16 14:50 yanqi_vip 阅读(43) 评论(0) 推荐(0)

|NO.Z.00055|——————————|BigDataEnd|——|Hadoop&Python.v02|——|Arithmetic.v02|Matplotlib数据可视化：Matplotlib基础知识|

摘要： 一、Matplotlib数据可视化 ### Matplotlib数据可视化 ~~~ pip install matplotlib -i https://pypi.tuna.tsinghua.edu.cn/simple ~~~ 在数据分析与机器学习中，我们经常要用到大量的可视化操作。 ~~~ 一张制作 阅读全文

posted @ 2022-04-16 14:50 yanqi_vip 阅读(24) 评论(0) 推荐(0)

|NO.Z.00053|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-16 14:49 yanqi_vip 阅读(10) 评论(0) 推荐(0)

|NO.Z.00052|——————————|BigDataEnd|——|Hadoop&Python.v16|——|Arithmetic.v16|Pandas数据分析库：JAVA_BBS数据分析师招聘数据分析|]

摘要： 一、实战-JAVA_BBS数据分析师招聘数据分析 ### 实战-JAVA_BBS数据分析师招聘数据分析 ~~~ 分析⽬标 ~~~ 各城市对数据分析岗位的需求情况 ~~~ 不同细分领域对数据分析岗的需求情况 ~~~ 数据分析岗位的薪资状况 ~~~ ⼯作经验与薪⽔的关系 ~~~ 公司都要求什么掌握什么技 阅读全文

posted @ 2022-04-16 14:48 yanqi_vip 阅读(40) 评论(0) 推荐(0)

|NO.Z.00050|——————————|BigDataEnd|——|Hadoop&Python.v14|——|Arithmetic.v14|Pandas数据分析库：Pandas时间序列|

摘要： 一、时间序列 ### 时间戳操作 ~~~ # 创建⽅法 pd.Timestamp('2020-8-24 12') # 时刻数据 pd.Period('2020-8-24',freq = 'M') # 时期数据 index = pd.date_range('2020.08.24',periods=5, 阅读全文

posted @ 2022-04-16 14:47 yanqi_vip 阅读(49) 评论(0) 推荐(0)

|NO.Z.00051|——————————|BigDataEnd|——|Hadoop&Python.v15|——|Arithmetic.v15|Pandas数据分析库：Pandas数据可视化|

摘要： 一、数据可视化 ### 数据可视化 ~~~ pip install matplotlib -i https://pypi.tuna.tsinghua.edu.cn/simple import numpy as np import pandas as pd ~~~ # 1、线形图 df1 = pd.D 阅读全文

posted @ 2022-04-16 14:47 yanqi_vip 阅读(18) 评论(0) 推荐(0)

|NO.Z.00048|——————————|BigDataEnd|——|Hadoop&Python.v12|——|Arithmetic.v12|Pandas数据分析库：Pandas分箱操作|

摘要： 一、分箱操作 ### 分箱操作 ~~~ # 分箱操作就是将连续数据转换为分类对应物的过程。⽐如将连续的身⾼数据划分为：矮中⾼。 ~~~ # 分箱操作分为等距分箱和等频分箱。 ~~~ # 分箱操作也叫⾯元划分或者离散化。 import numpy as np import pandas as pd d 阅读全文

posted @ 2022-04-16 14:46 yanqi_vip 阅读(25) 评论(0) 推荐(0)

|NO.Z.00049|——————————|BigDataEnd|——|Hadoop&Python.v13|——|Arithmetic.v13|Pandas数据分析库：Pandas分组聚合|

摘要： 一、分组聚合 ### 分组聚合 import numpy as np import pandas as pd ~~~ # 准备数据 df = pd.DataFrame(data = {'sex':np.random.randint(0,2,size = 300), # 0男，1⼥ 'class':n 阅读全文

posted @ 2022-04-16 14:46 yanqi_vip 阅读(45) 评论(0) 推荐(0)

|NO.Z.00046|——————————|BigDataEnd|——|Hadoop&Python.v10|——|Arithmetic.v10|Pandas数据分析库：Pandas简单统计指标|

摘要： 一、数学和统计⽅法：简单统计指标 ### 数学和统计⽅法 ~~~ # pandas对象拥有⼀组常⽤的数学和统计⽅法。它们属于汇总统计，对Series汇总计算获取mean、max ~~~ # 值或者对DataFrame⾏、列汇总计算返回⼀个Series。 ~~~ # 简单统计指标 import num 阅读全文

posted @ 2022-04-16 14:45 yanqi_vip 阅读(27) 评论(0) 推荐(0)

|NO.Z.00047|——————————|BigDataEnd|——|Hadoop&Python.v11|——|Arithmetic.v11|Pandas数据分析库：Pandas数据排序|

摘要： 一、数据排序 ### 数据排序 import numpy as np import pandas as pd df = pd.DataFrame(data = np.random.randint(0,30,size = (30,3)), index = list('qwertyuioijhgfcas 阅读全文

posted @ 2022-04-16 14:45 yanqi_vip 阅读(20) 评论(0) 推荐(0)

|NO.Z.00044|——————————|BigDataEnd|——|Hadoop&Python.v08|——|Arithmetic.v08|Pandas数据分析库：Pandas数据转换|

摘要： 一、数据转换：轴和元素替换 ### 轴和元素替换 import numpy as np import pandas as pd df = pd.DataFrame(data = np.random.randint(0,10,size = (10,3)), index = list('ABCDEFHI 阅读全文

posted @ 2022-04-16 14:44 yanqi_vip 阅读(23) 评论(0) 推荐(0)

|NO.Z.00045|——————————|BigDataEnd|——|Hadoop&Python.v09|——|Arithmetic.v09|Pandas数据分析库：Pandas数据重塑|

摘要： 一、数据重塑 ### 数据重塑 import numpy as np import pandas as pd df = pd.DataFrame(data = np.random.randint(0,100,size = (10,3)), index = list('ABCDEFHIJK'), co 阅读全文

posted @ 2022-04-16 14:44 yanqi_vip 阅读(30) 评论(0) 推荐(0)

|NO.Z.00043|——————————|BigDataEnd|——|Hadoop&Python.v07|——|Arithmetic.v07|Pandas数据分析库：Pandas数据清洗|

摘要： 一、数据清洗 ### 数据清洗 import numpy as np import pandas as pd df = pd.DataFrame(data = {'color': ['red','blue','red','green','blue',None,'red'], 'price':[10, 阅读全文

posted @ 2022-04-16 14:43 yanqi_vip 阅读(16) 评论(0) 推荐(0)

|NO.Z.00042|——————————|BigDataEnd|——|Hadoop&Python.v06|——|Arithmetic.v06|Pandas数据分析库：Pandas数据集成|

摘要： 一、数据集成：pandas 提供了多种将 Series、DataFrame 对象组合在⼀起的功能 ### concat数据串联 ~~~ # concat数据串联 import pandas as pd import numpy as np df1 = pd.DataFrame(data = np.r 阅读全文

posted @ 2022-04-16 14:43 yanqi_vip 阅读(40) 评论(0) 推荐(0)

|NO.Z.00040|——————————|BigDataEnd|——|Hadoop&Python.v04|——|Arithmetic.v04|Pandas数据分析库：Pandas数据输入输出|

摘要： 一、数据输⼊与输出：csv ### csv import numpy as np import pandas as pd df = DataFrame(data = np.random.randint(0,50,size = [50,5]), # 薪资情况 columns=['IT','化⼯','⽣ 阅读全文

posted @ 2022-04-16 14:42 yanqi_vip 阅读(25) 评论(0) 推荐(0)

|NO.Z.00041|——————————|BigDataEnd|——|Hadoop&Python.v05|——|Arithmetic.v05|Pandas数据分析库：Pandas数据选取|

摘要： 一、数据选取：获取数据 ### 获取数据 import pandas as pd import numpy as np df = pd.DataFrame(data = np.random.randint(0,150,size = [150,3]), # 计算机科⽬的考试成绩 columns=['P 阅读全文

posted @ 2022-04-16 14:42 yanqi_vip 阅读(39) 评论(0) 推荐(0)

|NO.Z.00038|——————————|BigDataEnd|——|Hadoop&Python.v02|——|Arithmetic.v02|Pandas数据分析库：Pandas数据结构|

摘要： 一、pandas数据分析库 ### pandas数据分析库 ~~~ Python在数据处理和准备⽅⾯⼀直做得很好，但在数据分析和建模⽅⾯就差⼀些。 ~~~ pandas帮助填补了这⼀空⽩，使您能够在Python中执⾏整个数据分析⼯作流程， ~~~ ⽽不必切换到更特定于领域的语⾔，如R。 ~~~ 与出 阅读全文

posted @ 2022-04-16 14:41 yanqi_vip 阅读(41) 评论(0) 推荐(0)

|NO.Z.00039|——————————|BigDataEnd|——|Hadoop&Python.v03|——|Arithmetic.v03|Pandas数据分析库：Pandas数据查看|

摘要： 一、数据查看 ### 查看DataFrame的常⽤属性和DataFrame的概览和统计信息 import numpy as np import pandas as pd ### 创建 shape(150,3)的⼆维标签数组结构DataFrame df = pd.DataFrame(data = np 阅读全文

posted @ 2022-04-16 14:41 yanqi_vip 阅读(38) 评论(0) 推荐(0)

|NO.Z.00037|——————————|^^ 配置 ^^|——|Hadoop&Python.v01|——|Arithmetic.v01|Pandas数据分析库：Pandas模块安装|

摘要： 一、Pandas模块安装 ### 在windows.dos下安装pandas C:\Users\Administrator>pip install pandas -i https://pypi.tuna.tsinghua.edu.cn/simple ~~~输出参数 Installing collec 阅读全文

posted @ 2022-04-16 14:40 yanqi_vip 阅读(36) 评论(0) 推荐(0)

|NO.Z.00036|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-16 14:40 yanqi_vip 阅读(24) 评论(0) 推荐(0)

|NO.Z.00034|——————————|BigDataEnd|——|Hadoop&Python.v12|——|Arithmetic.v12|NumPy科学计算库：NumPy线性代数|

摘要： 一、线性代数：矩阵乘积 ### 矩阵的乘积 A = np.array([[4,2,3], [1,3,1]]) # shape(2,3) B = np.array([[2,7], [-5,-7], [9,3]]) # shape(3,2) np.dot(A,B) # 矩阵运算 A的最后⼀维和B的第⼀维 阅读全文

posted @ 2022-04-16 14:39 yanqi_vip 阅读(36) 评论(0) 推荐(0)

|NO.Z.00035|——————————|BigDataEnd|——|Hadoop&Python.v13|——|Arithmetic.v13|NumPy科学计算库：NumPy分析鸢尾花花萼属性各项指标|

摘要： 一、实战-⽤NumPy分析鸢尾花花萼属性各项指标 ### 案列：读取iris数据集中的花萼⻓度数据（已保存为csv格式） ~~~ 并对其进⾏排序、去重，并求出和、累积和、均值、标准差、⽅差、最⼩值、最⼤值。 import numpy as np # 导⼊类库 numpy data = np.load 阅读全文

posted @ 2022-04-16 14:39 yanqi_vip 阅读(107) 评论(0) 推荐(0)

|NO.Z.00033|——————————|BigDataEnd|——|Hadoop&Python.v11|——|Arithmetic.v11|NumPy科学计算库：NumPy通用函数|

摘要： 一、通⽤函数：元素级数字函数 ### abs、sqrt、square、exp、log、sin、cos、tan，maxinmum、minimum、all、any、inner、clip、round、trace、ceil、floor import numpy as np arr1 = np.array([ 阅读全文

posted @ 2022-04-16 14:38 yanqi_vip 阅读(36) 评论(0) 推荐(0)

|NO.Z.00032|——————————|BigDataEnd|——|Hadoop&Python.v10|——|Arithmetic.v10|NumPy科学计算库：NumPy广播机制|

摘要： 一、⼴播机制 ### ⼴播机制 ~~~ 当两个数组的形状并不相同的时候，我们可以通过扩展数组的⽅法来实现相加、相减、 ~~~ 相乘等操作，这种机制叫做⼴播（broadcasting） ### ⼀维数组⼴播 import numpy as np arr1 = np.sort(np.array([0,1 阅读全文

posted @ 2022-04-16 14:38 yanqi_vip 阅读(33) 评论(0) 推荐(0)

|NO.Z.00030|——————————|BigDataEnd|——|Hadoop&Python.v08|——|Arithmetic.v08|NumPy科学计算库：NumPy索引/切⽚/迭代|

摘要： 一、索引、切⽚和迭代：基本索引和切⽚ ### numpy中数组切⽚是原始数组的视图，这意味着数据不会被复制，视图上任何数据的修改都会反映到原数组上 arr = np.array([0,1,2,3,4,5,6,7,8,9]) arr[5] # 索引 输出 5 arr[5:8] # 切⽚输出：array 阅读全文

posted @ 2022-04-16 14:37 yanqi_vip 阅读(32) 评论(0) 推荐(0)

|NO.Z.00031|——————————|BigDataEnd|——|Hadoop&Python.v09|——|Arithmetic.v09|NumPy科学计算库：NumPy形状操作|

摘要： 一、形状操作 ### 数组变形 import numpy as np arr1 = np.random.randint(0,10,size = (3,4,5)) arr2 = arr1.reshape(12,5) # 形状改变，返回新数组 arr3 = arr1.reshape(-1,5) # ⾃动 阅读全文

posted @ 2022-04-16 14:37 yanqi_vip 阅读(29) 评论(0) 推荐(0)

|NO.Z.00028|——————————|BigDataEnd|——|Hadoop&Python.v06|——|Arithmetic.v06|NumPy科学计算库：NumPy数组运算|

摘要： 一、数组运算 ### 加减乘除幂运算 import numpy as np arr1 = np.array([1,2,3,4,5]) arr2 = np.array([2,3,1,5,9]) arr1 - arr2 # 减法 arr1 * arr2 # 乘法 arr1 / arr2 # 除法 arr 阅读全文

posted @ 2022-04-16 14:36 yanqi_vip 阅读(34) 评论(0) 推荐(0)

|NO.Z.00029|——————————|BigDataEnd|——|Hadoop&Python.v07|——|Arithmetic.v07|NumPy科学计算库：NumPy复制视图|

摘要： 一、复制和视图：在操作数组时，有时会将其数据复制到新数组中，有时不复制。有以下三种情况 ### 完全没有复制 import numpy as np a = np.random.randint(0,100,size = (4,5)) b = a a is b # 返回True a和b是两个不同名字对应 阅读全文

posted @ 2022-04-16 14:36 yanqi_vip 阅读(32) 评论(0) 推荐(0)

|NO.Z.00026|——————————|BigDataEnd|——|Hadoop&Python.v04|——|Arithmetic.v04|NumPy科学计算库：NumPy数组创建|

摘要： 一、NumPy科学计算库 ### Po，功夫熊猫中阿宝。勤加练习，你就所向披靡！ ~~~ NumPy（Numerical Python）是Python的⼀种开源的数值计算扩展。 ~~~ 提供多维数组对象，各种派⽣对象（如掩码数组和矩阵），这种⼯具可⽤来存储和处理⼤型矩阵， ~~~ ⽐Python⾃身 阅读全文

posted @ 2022-04-16 14:35 yanqi_vip 阅读(37) 评论(0) 推荐(0)

|NO.Z.00027|——————————|BigDataEnd|——|Hadoop&Python.v05|——|Arithmetic.v05|NumPy科学计算库：NumPy数据类型|

摘要： 一、数据类型 ### ndarray的数据类型： int: int8、uint8、int16、int32、int64 float: float16、float32、float64 str ### array创建时，指定 import numpy as np np.array([1,2,5,8,2], 阅读全文

posted @ 2022-04-16 14:35 yanqi_vip 阅读(26) 评论(0) 推荐(0)

|NO.Z.00024|——————————|^^ 配置 ^^|——|Hadoop&Python.v02|——|Arithmetic.v02|Jupyter交互程序：Jupyter插件配置|

摘要： 一、指定默认启动目录 ### 查看jupyter_noteboot_config.py配置文件所在地址 C:\Users\Administrator>jupyter notebook --generate-config Overwrite C:\Users\Administrator\.jupyte 阅读全文

posted @ 2022-04-16 14:34 yanqi_vip 阅读(47) 评论(0) 推荐(0)

|NO.Z.00025|——————————|^^ 配置 ^^|——|Hadoop&Python.v03|——|Arithmetic.v03|NumPy科学计算库：NumPy模块安装|

摘要： 一、NumPy科学计算库 ### 安装numpy模块 C:\Users\Administrator>pip install numpy -i https://pypi.tuna.tsinghua.edu.cn/simple ~~~输出参数： Successfully installed numpy- 阅读全文

posted @ 2022-04-16 14:34 yanqi_vip 阅读(156) 评论(0) 推荐(0)

|NO.Z.00023|——————————|^^ 配置 ^^|——|Hadoop&Python.v01|——|Arithmetic.v01|Jupyter交互程序：Jupyter库安装|

摘要： 一、安装jupyter库 ### 查看pip版本 C:\Users\Administrator>pip --version pip 21.2.4 from D:\JAVA\Python310\lib\site-packages\pip (python 3.10) ### 在windows.dos下安 阅读全文

posted @ 2022-04-16 14:33 yanqi_vip 阅读(30) 评论(0) 推荐(0)

|NO.Z.00022|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-16 14:32 yanqi_vip 阅读(13) 评论(0) 推荐(0)

|NO.Z.00020|——————————|BigDataEnd|——|Hadoop&Python.v20|——|Arithmetic.v20|语法：进阶&面向对象.V2|

摘要： 一、面向对象 ### 面向对象基本概念 ~~~ # 面向过程： ~~~ 根据业务逻辑从上到下写代码。 ~~~ # 面向对象： ~~~ 将变量与函数、属性绑定到一起，分类进行封装，每个程序只要负责分配给自己的功能， ~~~ 这样能够更快速的开发程序，减少了重复代码。 ~~~ 我们在前面写的代码都是面向 阅读全文

posted @ 2022-04-16 14:31 yanqi_vip 阅读(33) 评论(0) 推荐(0)

|NO.Z.00021|——————————|BigDataEnd|——|Hadoop&Python.v21|——|Arithmetic.v21|语法：进阶&模块和包管理.V3|

摘要： 一、模块和包管理 ### 模块和包管理 ~~~ Python中具有丰富的标准库和第三方库，学习并掌握模块、包的概念尤为重要， ~~~ 决定了我们是否能够利用这些丰富的资源，以及如何妥善组织好我们自己的代码。 一、模块的导入 ~~~ # 首先，我们来导入一个内置模块 import math ~~~ # 阅读全文

posted @ 2022-04-16 14:31 yanqi_vip 阅读(37) 评论(0) 推荐(0)

|NO.Z.00018|——————————|BigDataEnd|——|Hadoop&Python.v18|——|Arithmetic.v18|语法：数据结构&集合set.V5|

摘要： 一、集合 set：集合在Python中是一个无序的不重复的序列，一般用来删除重复数据还可以计算交集并集等。 ### 集合的定义 ~~~ # 这两方式都可以定义一个集合 nums = {1, 2, 3, 4, 5} nums = set([1, 2, 3, 4, 5]) ~~~ # 注意，集合是无序的 阅读全文

posted @ 2022-04-16 14:30 yanqi_vip 阅读(42) 评论(0) 推荐(0)

|NO.Z.00019|——————————|BigDataEnd|——|Hadoop&Python.v19|——|Arithmetic.v19|语法：进阶&函数.V1|

摘要： 一、Python进阶：函数 ### Python进阶：函数 ~~~ 在前面的学习过程中，我们已经接触了很多次函数， ~~~ 现在我们来好好的认识一下这个重要的小伙伴。 ~~~ 函数就是一段可以重复调用的代码在Python中函数是非常重要的概念，在编程中几乎无处不在。 一、函数定义及调用 ### 在P 阅读全文

posted @ 2022-04-16 14:30 yanqi_vip 阅读(35) 评论(0) 推荐(0)

|NO.Z.00016|——————————|BigDataEnd|——|Hadoop&Python.v16|——|Arithmetic.v16|语法：数据结构&列表list.V3|

摘要： 一、列表 list ### 定义列表 ~~~ # 列表可以理解为可变的元组，它的使用方式跟元组差不多，区别就是列表可以动态的增加、修改、删除元素。 ~~~ # 以上方式都可以定义一个列表。注意变量名使用了lst，有意的避开了list，虽然list不是关键字，但我们在命名变量的时候不要使用这些内置名称 阅读全文

posted @ 2022-04-16 14:29 yanqi_vip 阅读(29) 评论(0) 推荐(0)

|NO.Z.00017|——————————|BigDataEnd|——|Hadoop&Python.v17|——|Arithmetic.v17|语法：数据结构&字典dict.V4|

摘要： 一、字典 dict ### 类似这种销售信息的数据结构，我们使用元组或者列表存储是可以的。 top_sales = [('Peter', 213), ('John', 253), ('Tony', 284), ('Henry', 205), ('Mike', 280)] ### 可以很方便的取出在这 阅读全文

posted @ 2022-04-16 14:29 yanqi_vip 阅读(35) 评论(0) 推荐(0)

|NO.Z.00014|——————————|BigDataEnd|——|Hadoop&Python.v14|——|Arithmetic.v14|语法：数据结构&字符串.V1|

摘要： 一、数据结构：字符串 ### 数据结构：字符串 ~~~ 在任何一门编程语言中，字符串都是最基础、最重要的数据结构。 ~~~ 前面我们已经学习过字符串的基本使用方法，现在继续深入的学习更多的知识。 一、字符串的格式化输出： ### 格式化运算符 ~~~ # 在之前while循环的一个例子中， 有这样一 阅读全文

posted @ 2022-04-16 14:28 yanqi_vip 阅读(43) 评论(0) 推荐(0)

|NO.Z.00015|——————————|BigDataEnd|——|Hadoop&Python.v15|——|Arithmetic.v15|语法：数据结构&元组tuple.V2|

摘要： 一、元组 tuple：定义元组 ~~~ # 现在我们知道了字符串是一种序列，它可以迭代循环，也可以按索引访问，也可以切片访问。但它的组成只能是单个的字符，现在来介绍一种更多元化的序列：元组，英文叫tuple，可这样来定义一个元组： t = ('My', 'age', 'is', 18) ~~~ # 阅读全文

posted @ 2022-04-16 14:28 yanqi_vip 阅读(37) 评论(0) 推荐(0)

|NO.Z.00013|——————————|BigDataEnd|——|Hadoop&Python.v13|——|Arithmetic.v13|语法：核心语法&流程控制.V3|——|智能密码锁|

摘要： 一、编程实现：智能密码锁程序 ### 编程实现：智能密码锁程序 ~~~ 最近几年很流行的智能密码锁程序，除了可以用指纹开锁、人脸识别开锁外， ~~~ 都会有密码开锁的功能，以防万一。 ~~~ 密码开锁功能是这样的，首先设定好密码， ~~~ 以后每次开锁的时候只要输入的数字中含有设定的密码，就视为解锁 阅读全文

posted @ 2022-04-16 14:27 yanqi_vip 阅读(62) 评论(0) 推荐(0)

|NO.Z.00012|——————————|BigDataEnd|——|Hadoop&Python.v12|——|Arithmetic.v12|语法：核心语法&流程控制.V2|——|循环|

摘要： 一、循环 ### 循环 ~~~ 看到循环我们首先会想到一些物体，比如旋转的风扇、车轮，一个圆的形状。 ~~~ 一个圆形的跑道，如果沿着它跑，除非我们自己停下来，永远不会有终点， ~~~ 但是可以计算我们跑了多少圈。 ~~~ 假设我们在跑步之前，给自己设定一个目标，跑完10圈就不跑了， ~~~ 然后去 阅读全文

posted @ 2022-04-16 14:27 yanqi_vip 阅读(37) 评论(0) 推荐(0)

|NO.Z.00010|——————————|BigDataEnd|——|Hadoop&Python.v10|——|Arithmetic.v10|语法：核心语法&运算符.V2|

摘要： 一、使用算术运算符操作字符串 ### 对，没有看错，字符串在Python中也可以“运算”，有两种操作，我们先看看加法。 print("Hello " + "world") ### 加号可以将两个字符串拼接成一个字符串，也可以将多个字符串拼接在一起： print("apple " + "apple " 阅读全文

posted @ 2022-04-16 14:26 yanqi_vip 阅读(36) 评论(0) 推荐(0)

|NO.Z.00011|——————————|BigDataEnd|——|Hadoop&Python.v11|——|Arithmetic.v11|语法：核心语法&流程控制.V1|——|条件判断|

摘要： 一、流程控制 ### 流程控制 ~~~ 经过前面三个小节的学习，我们已经对Python编程语言有了一个初步的了解。 ~~~ 如果说Python是一条蟒蛇，变量、数据类型、运算符就是它的肌肉和骨架， ~~~ 而流程控制相当于它的神经系统，掌握了流程控制知识，就可以让Python灵活的游动起来。 ~~~ 阅读全文

posted @ 2022-04-16 14:26 yanqi_vip 阅读(32) 评论(0) 推荐(0)

|NO.Z.00008|——————————|BigDataEnd|——|Hadoop&Python.v08|——|Arithmetic.v08|语法：核心语法&数据类型转换.V2|

摘要： 一、数据类型转换 ### 布尔值转换 ~~~ 要想把其他值转换为布尔值，需要使用一个内置函数bool()， ~~~ 我们在控制台按顺序输入以下的代码：关于函数的概念我们在后面的课程中会学习， ~~~ Python的内置函数有很多，我们也会一一学习。 ~~~ # 以下值都为True bool(1) b 阅读全文

posted @ 2022-04-16 14:25 yanqi_vip 阅读(34) 评论(0) 推荐(0)

|NO.Z.00009|——————————|BigDataEnd|——|Hadoop&Python.v09|——|Arithmetic.v09|语法：核心语法&运算符.V1|

摘要： 一、运算符：算数运算符：算术运算符：Python中进行数值运算需要的符号如下，我们来一一学习一下。 运算符 描述 实例 + 加 1 + 1; a + b - 减 10 - 5; a - b -c * 乘 4 * 2 相当 4 × 2 / 除 4 / 2 相当于 4 ÷ 2 // 取整除 10 // 阅读全文

posted @ 2022-04-16 14:25 yanqi_vip 阅读(46) 评论(0) 推荐(0)

|NO.Z.00007|——————————|BigDataEnd|——|Hadoop&Python.v07|——|Arithmetic.v07|语法：核心语法&数据类型.V1|

摘要： 一、数据类型 ### 数据类型 ~~~ 如果有学习过其他编程语言的同学， ~~~ 可能在学习变量的时候就会想问，在Python中定义一个变量的时候，怎么没有先声明它的类型呢？ ~~~ 这正是Python的简洁高效之处。变量在Python中是不区分类型的， ~~~ 但它的值有类型，不同的值有不同的类型 阅读全文

posted @ 2022-04-16 14:24 yanqi_vip 阅读(35) 评论(0) 推荐(0)

|NO.Z.00006|——————————|BigDataEnd|——|Hadoop&Python.v06|——|Arithmetic.v06|语法：核心语法&变量.V1|

摘要： 一、 核心语法：变量 ### 变量的定义 ~~~ 变量就是可变的量，对于一些有可能会经常变化的数据，我们需要使用一个符号， ~~~ 这样才能计算中使用它，就像我们在小学时学过的一元方程中的"x"一样。 ~~~ 比如说，我们在控制台内输入： ~~~ 这样我们就新定义了一个变量，它的值是"world"， 阅读全文

posted @ 2022-04-16 14:24 yanqi_vip 阅读(66) 评论(0) 推荐(0)

|NO.Z.00005|——————————|BigDataEnd|——|Hadoop&Python.v05|——|Arithmetic.v05|语法：交互式编程|

摘要： 一、交互式编程 ### 交互式编程 ~~~ 在上面的步骤中，我们输入了一行代码，按回车键后， ~~~ 将代码提交给了Python内置的解释器，解释器运行了代码后，将运行结果打印在了控制台上， ~~~ 这种一次输入对应一次输出的形式，我们称之为交互式编程。 ~~~ 试试将Hello world 案例中 阅读全文

posted @ 2022-04-16 14:24 yanqi_vip 阅读(35) 评论(0) 推荐(0)

|NO.Z.00003|——————————|^^ 配置 ^^|——|Hadoop&Python.v03|——|Arithmetic.v03|基础|Python310安装.V1|

摘要： 一、Python310安装配置 1、下载地址：https://www.python.org/ftp/python/3.10.1/python-3.10.1-amd64.exe 2、自定义安装 3、自定义插件安装 4、更改安装目录 5、安装成功 二、配置环境变量： 1、配置系统环境变量：配置Pytho 阅读全文

posted @ 2022-04-16 14:23 yanqi_vip 阅读(59) 评论(0) 推荐(0)

|NO.Z.00004|——————————|^^ 配置 ^^|——|Hadoop&Python.v04|——|Arithmetic.v04|基础：PyCharm.20200205安装.V2|

摘要： 一、PyCharm.20200205安装 1、下载地址： https://www.jetbrains.com/pycharm/download/download-thanks.html?platform=windows&code=PCC 2、安装PyCharm.20200205 3、更改安装目录 4 阅读全文

posted @ 2022-04-16 14:23 yanqi_vip 阅读(55) 评论(0) 推荐(0)

|NO.Z.00001|——————————|BigDataEnd|——|Hadoop&Python.v01|——|Arithmetic.v01|基础|概述|

摘要： 一、Python入门：Python语言介绍：为什么使用Python进行数据分析 ### Python入门：Python语言介绍：为什么使用Python进行数据分析 ~~~ 数据分析本身是一份非常古老的工作，随着互联网、大数据的发展， ~~~ 现在人类每一年创造的数据量是之前人类历史的总和！ ~~~ 阅读全文

posted @ 2022-04-16 14:22 yanqi_vip 阅读(27) 评论(0) 推荐(0)

|NO.Z.00002|——————————|BigDataEnd|——|Hadoop&Python.v02|——|Arithmetic.v02|基础|安装|

摘要： 一、Python安装及配置 ### Python版本介绍 ~~~ Python目前有两个版本共存，Python 2 和 Python 3， ~~~ 其中Python官方宣布：Python 2于2020年1月1日起不再维护， ~~~ 所以如果你现在开始学Python，肯定是要学习Python3了。 ~ 阅读全文

posted @ 2022-04-16 14:22 yanqi_vip 阅读(57) 评论(0) 推荐(0)

|NO.Z.00000|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-16 14:21 yanqi_vip 阅读(14) 评论(0) 推荐(0)

|NO.Z.10000|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-16 14:20 yanqi_vip 阅读(12) 评论(0) 推荐(0)

|NO.Z.00078|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-16 14:20 yanqi_vip 阅读(11) 评论(0) 推荐(0)

|NO.Z.00077|——————————|^^ 编程 ^^|——|Hadoop&实时数仓.V03|——|实时数仓.v03|在Hadoop集群环境运行实时数仓程序.V3|

摘要： 一、运行OrderStatistics ### 复制类的绝对路径 ~~~ # 选中类名：Copy Reference dw.dws.OrderStatistics ### 运行类 ~~~ # 运行主类：OrderStatistics [root@hadoop02 ~]# /opt/yanqi/ser 阅读全文

posted @ 2022-04-16 14:19 yanqi_vip 阅读(34) 评论(0) 推荐(0)

|NO.Z.00076|——————————|^^ 编程 ^^|——|Hadoop&实时数仓.V02|——|实时数仓.v02|在Hadoop集群环境运行实时数仓程序.V2|

摘要： 一、启动集群环境相关服务 ### 启动zookeeper/kafka服务 ~~~ # 启动zookeeper服务 [root@hadoop01 ~]# ./zk.sh start ~~~ # 启动kafka服务：所有节点 [root@hadoop01 ~]# kafka-server-start.s 阅读全文

posted @ 2022-04-16 14:18 yanqi_vip 阅读(20) 评论(0) 推荐(0)

|NO.Z.00075|——————————|^^ 编程 ^^|——|Hadoop&实时数仓.V01|——|实时数仓.v01|在Hadoop集群环境运行实时数仓程序.V1|

摘要： 一、在真实服务器集群环境上运行：在pom.xml下写入打包插件 <build> <sourceDirectory>src/main/scala</sourceDirectory> <testSourceDirectory>src/test/</testSourceDirectory> <plugin 阅读全文

posted @ 2022-04-16 14:18 yanqi_vip 阅读(29) 评论(0) 推荐(0)

|NO.Z.00074|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-16 14:17 yanqi_vip 阅读(24) 评论(0) 推荐(0)

|NO.Z.00073|——————————|BigDataEnd|——|Hadoop&实时数仓.V04|——|实时数仓.v04|Flink双流Join&connect CoProcessFunction处理双流数据|

摘要： 一、connect CoProcessFunction ### connect CoProcessFunction处理双流数据 ~~~ # input1: OrderEvent(orderId:String,eventType:String,eventTime:Long) : 订单 流式数据 （"o 阅读全文

posted @ 2022-04-16 14:17 yanqi_vip 阅读(26) 评论(0) 推荐(0)

|NO.Z.00072|——————————|BigDataEnd|——|Hadoop&实时数仓.V03|——|实时数仓.v03|Flink双流Join&基于window双流Join|

摘要： 一、基于window双流Join ### 基于window双流Join ### 基于window双流Join ~~~ input1:(1,1999L) (1,2001L) ~~~ input2:(1,1001L),(1,1002L),(1,3999) 二、编程实现基于window双流Join ### 阅读全文

posted @ 2022-04-16 14:17 yanqi_vip 阅读(33) 评论(0) 推荐(0)

|NO.Z.00071|——————————|BigDataEnd|——|Hadoop&实时数仓.V02|——|实时数仓.v02|Flink双流Join&基于时间的双流Join|

摘要： 一、Flink双流Join ### Flink双流Join ~~~ Join大体分类只有两种：Window Join和Interval Join。 ~~~ # Window Join ~~~ 又可以根据Window的类型细分出3种： ~~~ Tumbling Window Join、Sliding 阅读全文

posted @ 2022-04-16 14:16 yanqi_vip 阅读(32) 评论(0) 推荐(0)

|NO.Z.00070|——————————|BigDataEnd|——|Hadoop&实时数仓.V01|——|实时数仓.v01|数据质量|

摘要： 一、实时数仓——数据质量 ### 数据质量概述 ~~~ 流程图描述了一般的实时数据计算流程，接收日志或者MQ到kafka， ~~~ 用Flink进行处理和计算(指标），将最终计算结果（指标）存储在redis中， ~~~ 最后查询出redis中的数据给大屏、看板等展示。 ~~~ 但是在整个过程中，不得 阅读全文

posted @ 2022-04-16 14:16 yanqi_vip 阅读(68) 评论(0) 推荐(0)

|NO.Z.00069|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-16 14:15 yanqi_vip 阅读(13) 评论(0) 推荐(0)

|NO.Z.00068|——————————|^^ 配置 ^^|——|Hadoop&实时数仓.V08|——|可视化.v08|监控：grafana可视化实时redis数据.V8|

摘要： 一、安装grafana-redis插件 ### 安装grafanan-redis插件 ~~~ # 安装grafana-redis插件 [root@hadoop00 ~]# /opt/yanqi/servers/grafana/bin/grafana-cli plugins install redis 阅读全文

posted @ 2022-04-16 14:15 yanqi_vip 阅读(150) 评论(0) 推荐(0)

|NO.Z.00067|——————————|^^ 配置 ^^|——|Hadoop&实时数仓.V07|——|可视化.v07|监控：grafana可视化flink指标.V7|

摘要： 一、在prometheus下添加数据源 ### 配置数据源流程 ~~~ ——>http://hadoop00:3000——>Configuration——>Data Sources——> ~~~ ——>Add data source——>Prometheus——> ~~~ ——>Name：prome 阅读全文

posted @ 2022-04-16 14:14 yanqi_vip 阅读(20) 评论(0) 推荐(0)

|NO.Z.00066|——————————|^^ 部署 ^^|——|Hadoop&实时数仓.V06|——|可视化.v06|监控：grafana部署.V6|

摘要： 一、通过grafana工具监控，可视化效果友好： ### 下载grafana版本 ~~~ # 下载grafana版本包 [root@hadoop00 software]# wget -c https://dl.grafana.com/oss/release/grafana-7.3.1.linux-a 阅读全文

posted @ 2022-04-16 14:14 yanqi_vip 阅读(39) 评论(0) 推荐(0)

|NO.Z.00065|——————————|^^ 配置 ^^|——|Hadoop&实时数仓.V05|——|可视化.v05|监控：Flink配置.V5|

摘要： 一、修改flink配置，开放flink被监控端口 ### 把prometheus的jar包复制到flink的lib目录下 ~~~ # 把prometheus的jar包复制到flink的lib目录下 ~~~ # prometheus的jar包的地址在flink的plugin目录下：/opt/yanqi 阅读全文

posted @ 2022-04-16 14:13 yanqi_vip 阅读(47) 评论(0) 推荐(0)

|NO.Z.00064|——————————|^^ 部署 ^^|——|Hadoop&实时数仓.V04|——|可视化.v04|监控：pushgateway部署.V4|

摘要： 一、部署pushgateway: ### pushgateway ~~~ Pushgateway 是 Prometheus 生态中一个重要工具，使用它的原因主要是： ~~~ Prometheus 采用 pull 模式，可能由于不在一个子网或者防火墙原因， ~~~ 导致 Prometheus 无法直接 阅读全文

posted @ 2022-04-16 14:13 yanqi_vip 阅读(35) 评论(0) 推荐(0)

|NO.Z.00062|——————————|^^ 部署 ^^|——|Hadoop&实时数仓.V02|——|可视化.v02|监控：Prometheus部署.V2|

摘要： 一、prometheus部署：安装go语言环境 ### 下载版本包并解压 ~~~ # 由于Prometheus 是用golang开发的，所以首先安装一个go环境，Go语言是跨平台，支持Windows、Linux、 ~~~ # Windows ：go1.8.3.windows-amd64.msi (7 阅读全文

posted @ 2022-04-16 14:12 yanqi_vip 阅读(141) 评论(0) 推荐(0)

|NO.Z.00063|——————————|^^ 部署 ^^|——|Hadoop&实时数仓.V03|——|可视化.v03|监控：node_exporter部署.V3|

摘要： 一、部署prometheus-exporter ### 在系统层用作系统监控exporter ~~~ # 下载exporter版本包，主机是centos系统；因此用的监控export是node_exporter-0.16.0.linux-amd64.tar.gz ， [root@hadoop00 s 阅读全文

posted @ 2022-04-16 14:12 yanqi_vip 阅读(21) 评论(0) 推荐(0)

|NO.Z.00061|——————————|^^ 部署 ^^|——|Hadoop&实时数仓.V01|——|可视化.v01|监控：Prometheus部署.V1|

摘要： 一、系统实时监控&可视化 ### 普罗米修斯Prometheus ~~~ # 功能：在业务层用作埋点系统 ~~~ Prometheus支持多种语言（Go，java，python，ruby官方提供客户端， ~~~ 其他语言有第三方开源客户端）。我们可以通过客户端方便的对核心业务进行埋点。 ~~~ 如下 阅读全文

posted @ 2022-04-16 14:11 yanqi_vip 阅读(32) 评论(0) 推荐(0)

|NO.Z.00059|——————————|BigDataEnd|——|Hadoop&实时数仓.V39|——|项目.v39|需求六：数据处理&支付异常.V2|——|编程实现|

摘要： 一、编程实现：交易支付异常统计 ### 编程实现：样例类：OrderDetail package modes case class OrderDetail(orderId:String, status:String, orderCreateTime:String, price:Double) ### 阅读全文

posted @ 2022-04-16 14:10 yanqi_vip 阅读(41) 评论(0) 推荐(0)

|NO.Z.00060|——————————|BigDataEnd|——————————————————————————————————————

摘要： NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-16 14:10 yanqi_vip 阅读(10) 评论(0) 推荐(0)

|NO.Z.00057|——————————|BigDataEnd|——|Hadoop&实时数仓.V37|——|项目.v37|需求五：数据处理&渠道来源统计.V3|——|编译打印|

摘要： 一、启动相关服务：显示：黑名单用户ID、广告ID、点击数 ### 启动相关服务 ~~~ # 启动zookeeper服务 [root@hadoop01 ~]# ./zk.sh start ~~~ # 启动kafka服务：所有节点 [root@hadoop01 ~]# kafka-server-star 阅读全文

posted @ 2022-04-16 14:09 yanqi_vip 阅读(34) 评论(0) 推荐(0)

|NO.Z.00058|——————————|BigDataEnd|——|Hadoop&实时数仓.V38|——|项目.v38|需求六：数据处理&支付异常.V1|——|需求分析|

摘要： 一、需求6：交易支付异常 二、数据格式 9390,1,2020-07-28 00:15:11,295 5990,1,2020-07-28 00:16:12,165 9390,2,2020-07-28 00:18:11,295 5990,2,2020-07-28 00:18:12,165 9390,3 阅读全文

posted @ 2022-04-16 14:09 yanqi_vip 阅读(36) 评论(0) 推荐(0)

|NO.Z.00055|——————————|BigDataEnd|——|Hadoop&实时数仓.V35|——|项目.v35|需求五：数据处理&渠道来源统计.V1|——|需求分析|

摘要： 一、需求5：实时统计各渠道来源用户数量 二、编程实现工具类：SourceKafka package myutils import java.util.Properties import org.apache.flink.api.common.serialization.SimpleStringSch 阅读全文

posted @ 2022-04-16 14:08 yanqi_vip 阅读(24) 评论(0) 推荐(0)

|NO.Z.00056|——————————|BigDataEnd|——|Hadoop&实时数仓.V36|——|项目.v36|需求五：数据处理&渠道来源统计.V2|——|编程实现|

摘要： 一、编程实现：ChanalStatistics：实时统计各渠道来源用户数量 package dw.dws import com.alibaba.fastjson.{JSON, JSONObject} import modes.{ChanalDetail, CountByChannal} import 阅读全文

posted @ 2022-04-16 14:08 yanqi_vip 阅读(53) 评论(0) 推荐(0)

|NO.Z.00054|——————————|BigDataEnd|——|Hadoop&实时数仓.V34|——|项目.v34|需求四：数据处理&黑名单统计.V3|——|编译打印|

摘要： 一、启动相关服务：显示：黑名单用户ID、广告ID、点击数 ### 启动相关服务 ~~~ # 启动zookeeper服务 [root@hadoop01 ~]# ./zk.sh start ~~~ # 启动kafka服务：所有节点 [root@hadoop01 ~]# kafka-server-star 阅读全文

posted @ 2022-04-16 14:07 yanqi_vip 阅读(29) 评论(0) 推荐(0)

|NO.Z.00052|——————————|BigDataEnd|——|Hadoop&实时数仓.V32|——|项目.v32|需求四：数据处理&黑名单统计.V1|——|需求分析|

摘要： 一、需求4：显示：黑名单用户ID、广告ID、点击数 Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both han 阅读全文

posted @ 2022-04-16 14:06 yanqi_vip 阅读(26) 评论(0) 推荐(0)

|NO.Z.00051|——————————|BigDataEnd|——|Hadoop&实时数仓.V31|——|项目.v31|需求三：数据处理&增量统计广告.V5|——|编译打印|

摘要： 一、启动相关服务 ### 启动相关服务 ~~~ # 启动zookeeper服务 [root@hadoop01 ~]# ./zk.sh start ~~~ # 启动kafka服务：所有节点 [root@hadoop01 ~]# kafka-server-start.sh -daemon /opt/ya 阅读全文

posted @ 2022-04-16 14:06 yanqi_vip 阅读(22) 评论(0) 推荐(0)

|NO.Z.00053|——————————|BigDataEnd|——|Hadoop&实时数仓.V33|——|项目.v33|需求四：数据处理&黑名单统计.V2|——|编程实现|

摘要： 一、编程实现：工具类：显示：黑名单用户ID、广告ID、点击数 ### 编程实现：工具类一：SourceKafka package myutils import java.util.Properties import org.apache.flink.api.common.serialization. 阅读全文

posted @ 2022-04-16 14:06 yanqi_vip 阅读(25) 评论(0) 推荐(0)

|NO.Z.00050|——————————|BigDataEnd|——|Hadoop&实时数仓.V30|——|项目.v30|需求三：数据处理&增量统计广告.V4|——|编程实现|

摘要： 一、编程实现：每隔5秒统计最近1小时内广告的点击量$增量统计 package dw.dws import modes.{AdClick, CountByProductAd} import myutils.SourceKafka import java.sql.Date import java.tex 阅读全文

posted @ 2022-04-16 14:05 yanqi_vip 阅读(26) 评论(0) 推荐(0)

|NO.Z.00049|——————————|BigDataEnd|——|Hadoop&实时数仓.V29|——|项目.v29|需求三：数据处理&增量统计广告.V3|——|编程实现|

摘要： 一、编程实现：每隔5秒统计最近1小时内广告的点击量$增量统计 ### 编程实现：工具类一：SourceKafka package myutils import java.util.Properties import org.apache.flink.api.common.serialization. 阅读全文

posted @ 2022-04-16 14:05 yanqi_vip 阅读(22) 评论(0) 推荐(0)

|NO.Z.00048|——————————|BigDataEnd|——|Hadoop&实时数仓.V28|——|项目.v28|需求三：数据处理&增量统计广告.V2|——|Flume配置|

摘要： 一、Flume配置文件： ### flume配置文件：event-conf.properties ~~~ # 写入Flume配置文件：event-conf.properties [root@hadoop02 ~]# vim /opt/yanqi/servers/flume-1.9.0/conf/ev 阅读全文

posted @ 2022-04-16 14:04 yanqi_vip 阅读(38) 评论(0) 推荐(0)

|NO.Z.00046|——————————|BigDataEnd|——|Hadoop&实时数仓.V26|——|项目.v26|需求二：数据处理&增量统计.V4|——|编译打印|

摘要： 一、启动相关服务 ### 启动相关服务 ~~~ # 启动zookeeper服务 [root@hadoop01 ~]# ./zk.sh start ~~~ # 启动kafka服务：所有节点 [root@hadoop01 ~]# kafka-server-start.sh -daemon /opt/ya 阅读全文

posted @ 2022-04-16 14:03 yanqi_vip 阅读(31) 评论(0) 推荐(0)

|NO.Z.00047|——————————|BigDataEnd|——|Hadoop&实时数仓.V27|——|项目.v27|需求三：数据处理&增量统计广告.V1|——|需求分析|

摘要： 一、需求3：每隔5秒统计最近1小时内广告的点击量 增量 二、实现步骤 ### 实现步骤 ~~~ 获取数据源（input） flume ~~~ 转化 ~~~ 数据源的格式：area：uid：product_id：time: 样例类中AdClick；过滤操作filter product_id ！= nu 阅读全文

posted @ 2022-04-16 14:03 yanqi_vip 阅读(38) 评论(0) 推荐(0)

导航