2022年4月16日

|NO.Z.10000|——————————|BigDataEnd|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-16 14:54 yanqi_vip 阅读(12) 评论(0) 推荐(0)

|NO.Z.00060|——————————|BigDataEnd|——|Hadoop&Python.v07|——|Arithmetic.v07|Matplotlib数据可视化:Matplotlib3D图形|

摘要: 一、3D图形:三维折线图散点图 import numpy as np import matplotlib.pyplot as plt from mpl_toolkits.mplot3d.axes3d import Axes3D # 3D引擎 x = np.linspace(0,60,300) y = 阅读全文

posted @ 2022-04-16 14:53 yanqi_vip 阅读(42) 评论(0) 推荐(0)

|NO.Z.00061|——————————|BigDataEnd|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-16 14:53 yanqi_vip 阅读(17) 评论(0) 推荐(0)

|NO.Z.00058|——————————|BigDataEnd|——|Hadoop&Python.v05|——|Arithmetic.v05|Matplotlib数据可视化:Matplotlib文本注释箭头|

摘要: 一、文本、注释、箭头:常用函数如下: Pyplot函数 API方法 描述 text() mpl.axes.Axes.text() 在Axes对象的任意位置添加文字 xlabel() mpl.axes.Axes.set_xlabel() 为X轴添加标签 ylabel() mpl.axes.Axes.s 阅读全文

posted @ 2022-04-16 14:52 yanqi_vip 阅读(43) 评论(0) 推荐(0)

|NO.Z.00059|——————————|BigDataEnd|——|Hadoop&Python.v06|——|Arithmetic.v06|Matplotlib数据可视化:Matplotlib常用视图|

摘要: 一、常用视图:折线图 import numpy as np import matplotlib.pyplot as plt x = np.random.randint(0,10,size = 15) # 一图多线 plt.figure(figsize=(9,6)) plt.plot(x,marker 阅读全文

posted @ 2022-04-16 14:52 yanqi_vip 阅读(56) 评论(0) 推荐(0)

|NO.Z.00056|——————————|BigDataEnd|——|Hadoop&Python.v03|——|Arithmetic.v03|Matplotlib数据可视化:Matplotlib风格样式|

摘要: 一、风格和样式:颜色、线形、点形、线宽、透明度 import numpy as np import matplotlib.pyplot as plt x = np.linspace(0,2*np.pi,20) y1 = np.sin(x) y2 = np.cos(x) # 设置颜色,线型,点型 pl 阅读全文

posted @ 2022-04-16 14:51 yanqi_vip 阅读(19) 评论(0) 推荐(0)

|NO.Z.00057|——————————|BigDataEnd|——|Hadoop&Python.v04|——|Arithmetic.v04|Matplotlib数据可视化:Matplotlib多图布局|

摘要: 一、多图布局:子视图 import numpy as np import matplotlib.pyplot as plt x = np.linspace(-np.pi,np.pi,50) y = np.sin(x) # 子视图1 plt.figure(figsize=(9,6)) ax = plt 阅读全文

posted @ 2022-04-16 14:51 yanqi_vip 阅读(38) 评论(0) 推荐(0)

|NO.Z.00054|——————————|^^ 配置 ^^|——|Hadoop&Python.v01|——|Arithmetic.v01|Matplotlib数据可视化:Matplotlib模块安装|

摘要: 一、Matplotlib模块安装 ### 在windows.dos下安装Matplotlib C:\Users\Administrator>pip install pandas -i https://pypi.tuna.tsinghua.edu.cn/simple ~~~输出参数 Installin 阅读全文

posted @ 2022-04-16 14:50 yanqi_vip 阅读(43) 评论(0) 推荐(0)

|NO.Z.00055|——————————|BigDataEnd|——|Hadoop&Python.v02|——|Arithmetic.v02|Matplotlib数据可视化:Matplotlib基础知识|

摘要: 一、Matplotlib数据可视化 ### Matplotlib数据可视化 ~~~ pip install matplotlib -i https://pypi.tuna.tsinghua.edu.cn/simple ~~~ 在数据分析与机器学习中,我们经常要用到大量的可视化操作。 ~~~ 一张制作 阅读全文

posted @ 2022-04-16 14:50 yanqi_vip 阅读(24) 评论(0) 推荐(0)

|NO.Z.00053|——————————|BigDataEnd|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-16 14:49 yanqi_vip 阅读(10) 评论(0) 推荐(0)

|NO.Z.00052|——————————|BigDataEnd|——|Hadoop&Python.v16|——|Arithmetic.v16|Pandas数据分析库:JAVA_BBS数据分析师招聘数据分析|]

摘要: 一、实战-JAVA_BBS数据分析师招聘数据分析 ### 实战-JAVA_BBS数据分析师招聘数据分析 ~~~ 分析⽬标 ~~~ 各城市对数据分析岗位的需求情况 ~~~ 不同细分领域对数据分析岗的需求情况 ~~~ 数据分析岗位的薪资状况 ~~~ ⼯作经验与薪⽔的关系 ~~~ 公司都要求什么掌握什么技 阅读全文

posted @ 2022-04-16 14:48 yanqi_vip 阅读(40) 评论(0) 推荐(0)

|NO.Z.00050|——————————|BigDataEnd|——|Hadoop&Python.v14|——|Arithmetic.v14|Pandas数据分析库:Pandas时间序列|

摘要: 一、时间序列 ### 时间戳操作 ~~~ # 创建⽅法 pd.Timestamp('2020-8-24 12') # 时刻数据 pd.Period('2020-8-24',freq = 'M') # 时期数据 index = pd.date_range('2020.08.24',periods=5, 阅读全文

posted @ 2022-04-16 14:47 yanqi_vip 阅读(49) 评论(0) 推荐(0)

|NO.Z.00051|——————————|BigDataEnd|——|Hadoop&Python.v15|——|Arithmetic.v15|Pandas数据分析库:Pandas数据可视化|

摘要: 一、数据可视化 ### 数据可视化 ~~~ pip install matplotlib -i https://pypi.tuna.tsinghua.edu.cn/simple import numpy as np import pandas as pd ~~~ # 1、线形图 df1 = pd.D 阅读全文

posted @ 2022-04-16 14:47 yanqi_vip 阅读(18) 评论(0) 推荐(0)

|NO.Z.00048|——————————|BigDataEnd|——|Hadoop&Python.v12|——|Arithmetic.v12|Pandas数据分析库:Pandas分箱操作|

摘要: 一、分箱操作 ### 分箱操作 ~~~ # 分箱操作就是将连续数据转换为分类对应物的过程。⽐如将连续的身⾼数据划分为:矮中⾼。 ~~~ # 分箱操作分为等距分箱和等频分箱。 ~~~ # 分箱操作也叫⾯元划分或者离散化。 import numpy as np import pandas as pd d 阅读全文

posted @ 2022-04-16 14:46 yanqi_vip 阅读(25) 评论(0) 推荐(0)

|NO.Z.00049|——————————|BigDataEnd|——|Hadoop&Python.v13|——|Arithmetic.v13|Pandas数据分析库:Pandas分组聚合|

摘要: 一、分组聚合 ### 分组聚合 import numpy as np import pandas as pd ~~~ # 准备数据 df = pd.DataFrame(data = {'sex':np.random.randint(0,2,size = 300), # 0男,1⼥ 'class':n 阅读全文

posted @ 2022-04-16 14:46 yanqi_vip 阅读(45) 评论(0) 推荐(0)

|NO.Z.00046|——————————|BigDataEnd|——|Hadoop&Python.v10|——|Arithmetic.v10|Pandas数据分析库:Pandas简单统计指标|

摘要: 一、数学和统计⽅法:简单统计指标 ### 数学和统计⽅法 ~~~ # pandas对象拥有⼀组常⽤的数学和统计⽅法。它们属于汇总统计,对Series汇总计算获取mean、max ~~~ # 值或者对DataFrame⾏、列汇总计算返回⼀个Series。 ~~~ # 简单统计指标 import num 阅读全文

posted @ 2022-04-16 14:45 yanqi_vip 阅读(27) 评论(0) 推荐(0)

|NO.Z.00047|——————————|BigDataEnd|——|Hadoop&Python.v11|——|Arithmetic.v11|Pandas数据分析库:Pandas数据排序|

摘要: 一、数据排序 ### 数据排序 import numpy as np import pandas as pd df = pd.DataFrame(data = np.random.randint(0,30,size = (30,3)), index = list('qwertyuioijhgfcas 阅读全文

posted @ 2022-04-16 14:45 yanqi_vip 阅读(20) 评论(0) 推荐(0)

|NO.Z.00044|——————————|BigDataEnd|——|Hadoop&Python.v08|——|Arithmetic.v08|Pandas数据分析库:Pandas数据转换|

摘要: 一、数据转换:轴和元素替换 ### 轴和元素替换 import numpy as np import pandas as pd df = pd.DataFrame(data = np.random.randint(0,10,size = (10,3)), index = list('ABCDEFHI 阅读全文

posted @ 2022-04-16 14:44 yanqi_vip 阅读(23) 评论(0) 推荐(0)

|NO.Z.00045|——————————|BigDataEnd|——|Hadoop&Python.v09|——|Arithmetic.v09|Pandas数据分析库:Pandas数据重塑|

摘要: 一、数据重塑 ### 数据重塑 import numpy as np import pandas as pd df = pd.DataFrame(data = np.random.randint(0,100,size = (10,3)), index = list('ABCDEFHIJK'), co 阅读全文

posted @ 2022-04-16 14:44 yanqi_vip 阅读(30) 评论(0) 推荐(0)

|NO.Z.00043|——————————|BigDataEnd|——|Hadoop&Python.v07|——|Arithmetic.v07|Pandas数据分析库:Pandas数据清洗|

摘要: 一、数据清洗 ### 数据清洗 import numpy as np import pandas as pd df = pd.DataFrame(data = {'color': ['red','blue','red','green','blue',None,'red'], 'price':[10, 阅读全文

posted @ 2022-04-16 14:43 yanqi_vip 阅读(16) 评论(0) 推荐(0)

|NO.Z.00042|——————————|BigDataEnd|——|Hadoop&Python.v06|——|Arithmetic.v06|Pandas数据分析库:Pandas数据集成|

摘要: 一、数据集成:pandas 提供了多种将 Series、DataFrame 对象组合在⼀起的功能 ### concat数据串联 ~~~ # concat数据串联 import pandas as pd import numpy as np df1 = pd.DataFrame(data = np.r 阅读全文

posted @ 2022-04-16 14:43 yanqi_vip 阅读(40) 评论(0) 推荐(0)

|NO.Z.00040|——————————|BigDataEnd|——|Hadoop&Python.v04|——|Arithmetic.v04|Pandas数据分析库:Pandas数据输入输出|

摘要: 一、数据输⼊与输出:csv ### csv import numpy as np import pandas as pd df = DataFrame(data = np.random.randint(0,50,size = [50,5]), # 薪资情况 columns=['IT','化⼯','⽣ 阅读全文

posted @ 2022-04-16 14:42 yanqi_vip 阅读(25) 评论(0) 推荐(0)

|NO.Z.00041|——————————|BigDataEnd|——|Hadoop&Python.v05|——|Arithmetic.v05|Pandas数据分析库:Pandas数据选取|

摘要: 一、数据选取:获取数据 ### 获取数据 import pandas as pd import numpy as np df = pd.DataFrame(data = np.random.randint(0,150,size = [150,3]), # 计算机科⽬的考试成绩 columns=['P 阅读全文

posted @ 2022-04-16 14:42 yanqi_vip 阅读(39) 评论(0) 推荐(0)

|NO.Z.00038|——————————|BigDataEnd|——|Hadoop&Python.v02|——|Arithmetic.v02|Pandas数据分析库:Pandas数据结构|

摘要: 一、pandas数据分析库 ### pandas数据分析库 ~~~ Python在数据处理和准备⽅⾯⼀直做得很好,但在数据分析和建模⽅⾯就差⼀些。 ~~~ pandas帮助填补了这⼀空⽩,使您能够在Python中执⾏整个数据分析⼯作流程, ~~~ ⽽不必切换到更特定于领域的语⾔,如R。 ~~~ 与出 阅读全文

posted @ 2022-04-16 14:41 yanqi_vip 阅读(41) 评论(0) 推荐(0)

|NO.Z.00039|——————————|BigDataEnd|——|Hadoop&Python.v03|——|Arithmetic.v03|Pandas数据分析库:Pandas数据查看|

摘要: 一、数据查看 ### 查看DataFrame的常⽤属性和DataFrame的概览和统计信息 import numpy as np import pandas as pd ### 创建 shape(150,3)的⼆维标签数组结构DataFrame df = pd.DataFrame(data = np 阅读全文

posted @ 2022-04-16 14:41 yanqi_vip 阅读(38) 评论(0) 推荐(0)

|NO.Z.00037|——————————|^^ 配置 ^^|——|Hadoop&Python.v01|——|Arithmetic.v01|Pandas数据分析库:Pandas模块安装|

摘要: 一、Pandas模块安装 ### 在windows.dos下安装pandas C:\Users\Administrator>pip install pandas -i https://pypi.tuna.tsinghua.edu.cn/simple ~~~输出参数 Installing collec 阅读全文

posted @ 2022-04-16 14:40 yanqi_vip 阅读(36) 评论(0) 推荐(0)

|NO.Z.00036|——————————|BigDataEnd|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-16 14:40 yanqi_vip 阅读(24) 评论(0) 推荐(0)

|NO.Z.00034|——————————|BigDataEnd|——|Hadoop&Python.v12|——|Arithmetic.v12|NumPy科学计算库:NumPy线性代数|

摘要: 一、线性代数:矩阵乘积 ### 矩阵的乘积 A = np.array([[4,2,3], [1,3,1]]) # shape(2,3) B = np.array([[2,7], [-5,-7], [9,3]]) # shape(3,2) np.dot(A,B) # 矩阵运算 A的最后⼀维和B的第⼀维 阅读全文

posted @ 2022-04-16 14:39 yanqi_vip 阅读(36) 评论(0) 推荐(0)

|NO.Z.00035|——————————|BigDataEnd|——|Hadoop&Python.v13|——|Arithmetic.v13|NumPy科学计算库:NumPy分析鸢尾花花萼属性各项指标|

摘要: 一、实战-⽤NumPy分析鸢尾花花萼属性各项指标 ### 案列:读取iris数据集中的花萼⻓度数据(已保存为csv格式) ~~~ 并对其进⾏排序、去重,并求出和、累积和、均值、标准差、⽅差、最⼩值、最⼤值。 import numpy as np # 导⼊类库 numpy data = np.load 阅读全文

posted @ 2022-04-16 14:39 yanqi_vip 阅读(107) 评论(0) 推荐(0)

|NO.Z.00033|——————————|BigDataEnd|——|Hadoop&Python.v11|——|Arithmetic.v11|NumPy科学计算库:NumPy通用函数|

摘要: 一、通⽤函数:元素级数字函数 ### abs、sqrt、square、exp、log、sin、cos、tan,maxinmum、minimum、all、any、inner、clip、round、trace、ceil、floor import numpy as np arr1 = np.array([ 阅读全文

posted @ 2022-04-16 14:38 yanqi_vip 阅读(36) 评论(0) 推荐(0)

|NO.Z.00032|——————————|BigDataEnd|——|Hadoop&Python.v10|——|Arithmetic.v10|NumPy科学计算库:NumPy广播机制|

摘要: 一、⼴播机制 ### ⼴播机制 ~~~ 当两个数组的形状并不相同的时候,我们可以通过扩展数组的⽅法来实现相加、相减、 ~~~ 相乘等操作,这种机制叫做⼴播(broadcasting) ### ⼀维数组⼴播 import numpy as np arr1 = np.sort(np.array([0,1 阅读全文

posted @ 2022-04-16 14:38 yanqi_vip 阅读(33) 评论(0) 推荐(0)

|NO.Z.00030|——————————|BigDataEnd|——|Hadoop&Python.v08|——|Arithmetic.v08|NumPy科学计算库:NumPy索引/切⽚/迭代|

摘要: 一、索引、切⽚和迭代:基本索引和切⽚ ### numpy中数组切⽚是原始数组的视图,这意味着数据不会被复制,视图上任何数据的修改都会反映到原数组上 arr = np.array([0,1,2,3,4,5,6,7,8,9]) arr[5] # 索引 输出 5 arr[5:8] # 切⽚输出:array 阅读全文

posted @ 2022-04-16 14:37 yanqi_vip 阅读(32) 评论(0) 推荐(0)

|NO.Z.00031|——————————|BigDataEnd|——|Hadoop&Python.v09|——|Arithmetic.v09|NumPy科学计算库:NumPy形状操作|

摘要: 一、形状操作 ### 数组变形 import numpy as np arr1 = np.random.randint(0,10,size = (3,4,5)) arr2 = arr1.reshape(12,5) # 形状改变,返回新数组 arr3 = arr1.reshape(-1,5) # ⾃动 阅读全文

posted @ 2022-04-16 14:37 yanqi_vip 阅读(29) 评论(0) 推荐(0)

|NO.Z.00028|——————————|BigDataEnd|——|Hadoop&Python.v06|——|Arithmetic.v06|NumPy科学计算库:NumPy数组运算|

摘要: 一、数组运算 ### 加减乘除幂运算 import numpy as np arr1 = np.array([1,2,3,4,5]) arr2 = np.array([2,3,1,5,9]) arr1 - arr2 # 减法 arr1 * arr2 # 乘法 arr1 / arr2 # 除法 arr 阅读全文

posted @ 2022-04-16 14:36 yanqi_vip 阅读(34) 评论(0) 推荐(0)

|NO.Z.00029|——————————|BigDataEnd|——|Hadoop&Python.v07|——|Arithmetic.v07|NumPy科学计算库:NumPy复制视图|

摘要: 一、复制和视图:在操作数组时,有时会将其数据复制到新数组中,有时不复制。有以下三种情况 ### 完全没有复制 import numpy as np a = np.random.randint(0,100,size = (4,5)) b = a a is b # 返回True a和b是两个不同名字对应 阅读全文

posted @ 2022-04-16 14:36 yanqi_vip 阅读(32) 评论(0) 推荐(0)

|NO.Z.00026|——————————|BigDataEnd|——|Hadoop&Python.v04|——|Arithmetic.v04|NumPy科学计算库:NumPy数组创建|

摘要: 一、NumPy科学计算库 ### Po,功夫熊猫中阿宝。勤加练习,你就所向披靡! ~~~ NumPy(Numerical Python)是Python的⼀种开源的数值计算扩展。 ~~~ 提供多维数组对象,各种派⽣对象(如掩码数组和矩阵),这种⼯具可⽤来存储和处理⼤型矩阵, ~~~ ⽐Python⾃身 阅读全文

posted @ 2022-04-16 14:35 yanqi_vip 阅读(37) 评论(0) 推荐(0)

|NO.Z.00027|——————————|BigDataEnd|——|Hadoop&Python.v05|——|Arithmetic.v05|NumPy科学计算库:NumPy数据类型|

摘要: 一、数据类型 ### ndarray的数据类型: int: int8、uint8、int16、int32、int64 float: float16、float32、float64 str ### array创建时,指定 import numpy as np np.array([1,2,5,8,2], 阅读全文

posted @ 2022-04-16 14:35 yanqi_vip 阅读(26) 评论(0) 推荐(0)

|NO.Z.00024|——————————|^^ 配置 ^^|——|Hadoop&Python.v02|——|Arithmetic.v02|Jupyter交互程序:Jupyter插件配置|

摘要: 一、指定默认启动目录 ### 查看jupyter_noteboot_config.py配置文件所在地址 C:\Users\Administrator>jupyter notebook --generate-config Overwrite C:\Users\Administrator\.jupyte 阅读全文

posted @ 2022-04-16 14:34 yanqi_vip 阅读(47) 评论(0) 推荐(0)

|NO.Z.00025|——————————|^^ 配置 ^^|——|Hadoop&Python.v03|——|Arithmetic.v03|NumPy科学计算库:NumPy模块安装|

摘要: 一、NumPy科学计算库 ### 安装numpy模块 C:\Users\Administrator>pip install numpy -i https://pypi.tuna.tsinghua.edu.cn/simple ~~~输出参数: Successfully installed numpy- 阅读全文

posted @ 2022-04-16 14:34 yanqi_vip 阅读(156) 评论(0) 推荐(0)

|NO.Z.00023|——————————|^^ 配置 ^^|——|Hadoop&Python.v01|——|Arithmetic.v01|Jupyter交互程序:Jupyter库安装|

摘要: 一、安装jupyter库 ### 查看pip版本 C:\Users\Administrator>pip --version pip 21.2.4 from D:\JAVA\Python310\lib\site-packages\pip (python 3.10) ### 在windows.dos下安 阅读全文

posted @ 2022-04-16 14:33 yanqi_vip 阅读(30) 评论(0) 推荐(0)

|NO.Z.00022|——————————|BigDataEnd|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-16 14:32 yanqi_vip 阅读(13) 评论(0) 推荐(0)

|NO.Z.00020|——————————|BigDataEnd|——|Hadoop&Python.v20|——|Arithmetic.v20|语法:进阶&面向对象.V2|

摘要: 一、面向对象 ### 面向对象基本概念 ~~~ # 面向过程: ~~~ 根据业务逻辑从上到下写代码。 ~~~ # 面向对象: ~~~ 将变量与函数、属性绑定到一起,分类进行封装,每个程序只要负责分配给自己的功能, ~~~ 这样能够更快速的开发程序,减少了重复代码。 ~~~ 我们在前面写的代码都是面向 阅读全文

posted @ 2022-04-16 14:31 yanqi_vip 阅读(33) 评论(0) 推荐(0)

|NO.Z.00021|——————————|BigDataEnd|——|Hadoop&Python.v21|——|Arithmetic.v21|语法:进阶&模块和包管理.V3|

摘要: 一、模块和包管理 ### 模块和包管理 ~~~ Python中具有丰富的标准库和第三方库,学习并掌握模块、包的概念尤为重要, ~~~ 决定了我们是否能够利用这些丰富的资源,以及如何妥善组织好我们自己的代码。 一、模块的导入 ~~~ # 首先,我们来导入一个内置模块 import math ~~~ # 阅读全文

posted @ 2022-04-16 14:31 yanqi_vip 阅读(37) 评论(0) 推荐(0)

|NO.Z.00018|——————————|BigDataEnd|——|Hadoop&Python.v18|——|Arithmetic.v18|语法:数据结构&集合set.V5|

摘要: 一、集合 set:集合在Python中是一个无序的不重复的序列,一般用来删除重复数据还可以计算交集并集等。 ### 集合的定义 ~~~ # 这两方式都可以定义一个集合 nums = {1, 2, 3, 4, 5} nums = set([1, 2, 3, 4, 5]) ~~~ # 注意,集合是无序的 阅读全文

posted @ 2022-04-16 14:30 yanqi_vip 阅读(42) 评论(0) 推荐(0)

|NO.Z.00019|——————————|BigDataEnd|——|Hadoop&Python.v19|——|Arithmetic.v19|语法:进阶&函数.V1|

摘要: 一、Python进阶:函数 ### Python进阶:函数 ~~~ 在前面的学习过程中,我们已经接触了很多次函数, ~~~ 现在我们来好好的认识一下这个重要的小伙伴。 ~~~ 函数就是一段可以重复调用的代码在Python中函数是非常重要的概念,在编程中几乎无处不在。 一、函数定义及调用 ### 在P 阅读全文

posted @ 2022-04-16 14:30 yanqi_vip 阅读(35) 评论(0) 推荐(0)

|NO.Z.00016|——————————|BigDataEnd|——|Hadoop&Python.v16|——|Arithmetic.v16|语法:数据结构&列表list.V3|

摘要: 一、列表 list ### 定义列表 ~~~ # 列表可以理解为可变的元组,它的使用方式跟元组差不多,区别就是列表可以动态的增加、修改、删除元素。 ~~~ # 以上方式都可以定义一个列表。注意变量名使用了lst,有意的避开了list,虽然list不是关键字,但我们在命名变量的时候不要使用这些内置名称 阅读全文

posted @ 2022-04-16 14:29 yanqi_vip 阅读(29) 评论(0) 推荐(0)

|NO.Z.00017|——————————|BigDataEnd|——|Hadoop&Python.v17|——|Arithmetic.v17|语法:数据结构&字典dict.V4|

摘要: 一、字典 dict ### 类似这种销售信息的数据结构,我们使用元组或者列表存储是可以的。 top_sales = [('Peter', 213), ('John', 253), ('Tony', 284), ('Henry', 205), ('Mike', 280)] ### 可以很方便的取出在这 阅读全文

posted @ 2022-04-16 14:29 yanqi_vip 阅读(35) 评论(0) 推荐(0)

|NO.Z.00014|——————————|BigDataEnd|——|Hadoop&Python.v14|——|Arithmetic.v14|语法:数据结构&字符串.V1|

摘要: 一、数据结构:字符串 ### 数据结构:字符串 ~~~ 在任何一门编程语言中,字符串都是最基础、最重要的数据结构。 ~~~ 前面我们已经学习过字符串的基本使用方法,现在继续深入的学习更多的知识。 一、字符串的格式化输出: ### 格式化运算符 ~~~ # 在之前while循环的一个例子中, 有这样一 阅读全文

posted @ 2022-04-16 14:28 yanqi_vip 阅读(43) 评论(0) 推荐(0)

|NO.Z.00015|——————————|BigDataEnd|——|Hadoop&Python.v15|——|Arithmetic.v15|语法:数据结构&元组tuple.V2|

摘要: 一、元组 tuple:定义元组 ~~~ # 现在我们知道了字符串是一种序列,它可以迭代循环,也可以按索引访问,也可以切片访问。但它的组成只能是单个的字符,现在来介绍一种更多元化的序列:元组,英文叫tuple,可这样来定义一个元组: t = ('My', 'age', 'is', 18) ~~~ # 阅读全文

posted @ 2022-04-16 14:28 yanqi_vip 阅读(37) 评论(0) 推荐(0)

|NO.Z.00013|——————————|BigDataEnd|——|Hadoop&Python.v13|——|Arithmetic.v13|语法:核心语法&流程控制.V3|——|智能密码锁|

摘要: 一、编程实现:智能密码锁程序 ### 编程实现:智能密码锁程序 ~~~ 最近几年很流行的智能密码锁程序,除了可以用指纹开锁、人脸识别开锁外, ~~~ 都会有密码开锁的功能,以防万一。 ~~~ 密码开锁功能是这样的,首先设定好密码, ~~~ 以后每次开锁的时候只要输入的数字中含有设定的密码,就视为解锁 阅读全文

posted @ 2022-04-16 14:27 yanqi_vip 阅读(62) 评论(0) 推荐(0)

|NO.Z.00012|——————————|BigDataEnd|——|Hadoop&Python.v12|——|Arithmetic.v12|语法:核心语法&流程控制.V2|——|循环|

摘要: 一、循环 ### 循环 ~~~ 看到循环我们首先会想到一些物体,比如旋转的风扇、车轮,一个圆的形状。 ~~~ 一个圆形的跑道,如果沿着它跑,除非我们自己停下来,永远不会有终点, ~~~ 但是可以计算我们跑了多少圈。 ~~~ 假设我们在跑步之前,给自己设定一个目标,跑完10圈就不跑了, ~~~ 然后去 阅读全文

posted @ 2022-04-16 14:27 yanqi_vip 阅读(37) 评论(0) 推荐(0)

|NO.Z.00010|——————————|BigDataEnd|——|Hadoop&Python.v10|——|Arithmetic.v10|语法:核心语法&运算符.V2|

摘要: 一、使用算术运算符操作字符串 ### 对,没有看错,字符串在Python中也可以“运算”,有两种操作,我们先看看加法。 print("Hello " + "world") ### 加号可以将两个字符串拼接成一个字符串,也可以将多个字符串拼接在一起: print("apple " + "apple " 阅读全文

posted @ 2022-04-16 14:26 yanqi_vip 阅读(36) 评论(0) 推荐(0)

|NO.Z.00011|——————————|BigDataEnd|——|Hadoop&Python.v11|——|Arithmetic.v11|语法:核心语法&流程控制.V1|——|条件判断|

摘要: 一、流程控制 ### 流程控制 ~~~ 经过前面三个小节的学习,我们已经对Python编程语言有了一个初步的了解。 ~~~ 如果说Python是一条蟒蛇,变量、数据类型、运算符就是它的肌肉和骨架, ~~~ 而流程控制相当于它的神经系统,掌握了流程控制知识,就可以让Python灵活的游动起来。 ~~~ 阅读全文

posted @ 2022-04-16 14:26 yanqi_vip 阅读(32) 评论(0) 推荐(0)

|NO.Z.00008|——————————|BigDataEnd|——|Hadoop&Python.v08|——|Arithmetic.v08|语法:核心语法&数据类型转换.V2|

摘要: 一、数据类型转换 ### 布尔值转换 ~~~ 要想把其他值转换为布尔值,需要使用一个内置函数bool(), ~~~ 我们在控制台按顺序输入以下的代码:关于函数的概念我们在后面的课程中会学习, ~~~ Python的内置函数有很多,我们也会一一学习。 ~~~ # 以下值都为True bool(1) b 阅读全文

posted @ 2022-04-16 14:25 yanqi_vip 阅读(34) 评论(0) 推荐(0)

|NO.Z.00009|——————————|BigDataEnd|——|Hadoop&Python.v09|——|Arithmetic.v09|语法:核心语法&运算符.V1|

摘要: 一、运算符:算数运算符:算术运算符:Python中进行数值运算需要的符号如下,我们来一一学习一下。 运算符 描述 实例 + 加 1 + 1; a + b - 减 10 - 5; a - b -c * 乘 4 * 2 相当 4 × 2 / 除 4 / 2 相当于 4 ÷ 2 // 取整除 10 // 阅读全文

posted @ 2022-04-16 14:25 yanqi_vip 阅读(46) 评论(0) 推荐(0)

|NO.Z.00007|——————————|BigDataEnd|——|Hadoop&Python.v07|——|Arithmetic.v07|语法:核心语法&数据类型.V1|

摘要: 一、数据类型 ### 数据类型 ~~~ 如果有学习过其他编程语言的同学, ~~~ 可能在学习变量的时候就会想问,在Python中定义一个变量的时候,怎么没有先声明它的类型呢? ~~~ 这正是Python的简洁高效之处。变量在Python中是不区分类型的, ~~~ 但它的值有类型,不同的值有不同的类型 阅读全文

posted @ 2022-04-16 14:24 yanqi_vip 阅读(35) 评论(0) 推荐(0)

|NO.Z.00006|——————————|BigDataEnd|——|Hadoop&Python.v06|——|Arithmetic.v06|语法:核心语法&变量.V1|

摘要: 一、 核心语法:变量 ### 变量的定义 ~~~ 变量就是可变的量,对于一些有可能会经常变化的数据,我们需要使用一个符号, ~~~ 这样才能计算中使用它,就像我们在小学时学过的一元方程中的"x"一样。 ~~~ 比如说,我们在控制台内输入: ~~~ 这样我们就新定义了一个变量,它的值是"world", 阅读全文

posted @ 2022-04-16 14:24 yanqi_vip 阅读(66) 评论(0) 推荐(0)

|NO.Z.00005|——————————|BigDataEnd|——|Hadoop&Python.v05|——|Arithmetic.v05|语法:交互式编程|

摘要: 一、交互式编程 ### 交互式编程 ~~~ 在上面的步骤中,我们输入了一行代码,按回车键后, ~~~ 将代码提交给了Python内置的解释器,解释器运行了代码后,将运行结果打印在了控制台上, ~~~ 这种一次输入对应一次输出的形式,我们称之为交互式编程。 ~~~ 试试将Hello world 案例中 阅读全文

posted @ 2022-04-16 14:24 yanqi_vip 阅读(35) 评论(0) 推荐(0)

|NO.Z.00003|——————————|^^ 配置 ^^|——|Hadoop&Python.v03|——|Arithmetic.v03|基础|Python310安装.V1|

摘要: 一、Python310安装配置 1、下载地址:https://www.python.org/ftp/python/3.10.1/python-3.10.1-amd64.exe 2、自定义安装 3、自定义插件安装 4、更改安装目录 5、安装成功 二、配置环境变量: 1、配置系统环境变量:配置Pytho 阅读全文

posted @ 2022-04-16 14:23 yanqi_vip 阅读(59) 评论(0) 推荐(0)

|NO.Z.00004|——————————|^^ 配置 ^^|——|Hadoop&Python.v04|——|Arithmetic.v04|基础:PyCharm.20200205安装.V2|

摘要: 一、PyCharm.20200205安装 1、下载地址: https://www.jetbrains.com/pycharm/download/download-thanks.html?platform=windows&code=PCC 2、安装PyCharm.20200205 3、更改安装目录 4 阅读全文

posted @ 2022-04-16 14:23 yanqi_vip 阅读(55) 评论(0) 推荐(0)

|NO.Z.00001|——————————|BigDataEnd|——|Hadoop&Python.v01|——|Arithmetic.v01|基础|概述|

摘要: 一、Python入门:Python语言介绍:为什么使用Python进行数据分析 ### Python入门:Python语言介绍:为什么使用Python进行数据分析 ~~~ 数据分析本身是一份非常古老的工作,随着互联网、大数据的发展, ~~~ 现在人类每一年创造的数据量是之前人类历史的总和! ~~~ 阅读全文

posted @ 2022-04-16 14:22 yanqi_vip 阅读(27) 评论(0) 推荐(0)

|NO.Z.00002|——————————|BigDataEnd|——|Hadoop&Python.v02|——|Arithmetic.v02|基础|安装|

摘要: 一、Python安装及配置 ### Python版本介绍 ~~~ Python目前有两个版本共存,Python 2 和 Python 3, ~~~ 其中Python官方宣布:Python 2于2020年1月1日起不再维护, ~~~ 所以如果你现在开始学Python,肯定是要学习Python3了。 ~ 阅读全文

posted @ 2022-04-16 14:22 yanqi_vip 阅读(57) 评论(0) 推荐(0)

|NO.Z.00000|——————————|BigDataEnd|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-16 14:21 yanqi_vip 阅读(14) 评论(0) 推荐(0)

|NO.Z.10000|——————————|BigDataEnd|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-16 14:20 yanqi_vip 阅读(12) 评论(0) 推荐(0)

|NO.Z.00078|——————————|BigDataEnd|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-16 14:20 yanqi_vip 阅读(11) 评论(0) 推荐(0)

|NO.Z.00077|——————————|^^ 编程 ^^|——|Hadoop&实时数仓.V03|——|实时数仓.v03|在Hadoop集群环境运行实时数仓程序.V3|

摘要: 一、运行OrderStatistics ### 复制类的绝对路径 ~~~ # 选中类名:Copy Reference dw.dws.OrderStatistics ### 运行类 ~~~ # 运行主类:OrderStatistics [root@hadoop02 ~]# /opt/yanqi/ser 阅读全文

posted @ 2022-04-16 14:19 yanqi_vip 阅读(34) 评论(0) 推荐(0)

|NO.Z.00076|——————————|^^ 编程 ^^|——|Hadoop&实时数仓.V02|——|实时数仓.v02|在Hadoop集群环境运行实时数仓程序.V2|

摘要: 一、启动集群环境相关服务 ### 启动zookeeper/kafka服务 ~~~ # 启动zookeeper服务 [root@hadoop01 ~]# ./zk.sh start ~~~ # 启动kafka服务:所有节点 [root@hadoop01 ~]# kafka-server-start.s 阅读全文

posted @ 2022-04-16 14:18 yanqi_vip 阅读(20) 评论(0) 推荐(0)

|NO.Z.00075|——————————|^^ 编程 ^^|——|Hadoop&实时数仓.V01|——|实时数仓.v01|在Hadoop集群环境运行实时数仓程序.V1|

摘要: 一、在真实服务器集群环境上运行:在pom.xml下写入打包插件 <build> <sourceDirectory>src/main/scala</sourceDirectory> <testSourceDirectory>src/test/</testSourceDirectory> <plugin 阅读全文

posted @ 2022-04-16 14:18 yanqi_vip 阅读(29) 评论(0) 推荐(0)

|NO.Z.00074|——————————|BigDataEnd|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-16 14:17 yanqi_vip 阅读(24) 评论(0) 推荐(0)

|NO.Z.00073|——————————|BigDataEnd|——|Hadoop&实时数仓.V04|——|实时数仓.v04|Flink双流Join&connect CoProcessFunction处理双流数据|

摘要: 一、connect CoProcessFunction ### connect CoProcessFunction处理双流数据 ~~~ # input1: OrderEvent(orderId:String,eventType:String,eventTime:Long) : 订单 流式数据 ("o 阅读全文

posted @ 2022-04-16 14:17 yanqi_vip 阅读(26) 评论(0) 推荐(0)

|NO.Z.00072|——————————|BigDataEnd|——|Hadoop&实时数仓.V03|——|实时数仓.v03|Flink双流Join&基于window双流Join|

摘要: 一、基于window双流Join ### 基于window双流Join ### 基于window双流Join ~~~ input1:(1,1999L) (1,2001L) ~~~ input2:(1,1001L),(1,1002L),(1,3999) 二、编程实现基于window双流Join ### 阅读全文

posted @ 2022-04-16 14:17 yanqi_vip 阅读(33) 评论(0) 推荐(0)

|NO.Z.00071|——————————|BigDataEnd|——|Hadoop&实时数仓.V02|——|实时数仓.v02|Flink双流Join&基于时间的双流Join|

摘要: 一、Flink双流Join ### Flink双流Join ~~~ Join大体分类只有两种:Window Join和Interval Join。 ~~~ # Window Join ~~~ 又可以根据Window的类型细分出3种: ~~~ Tumbling Window Join、Sliding 阅读全文

posted @ 2022-04-16 14:16 yanqi_vip 阅读(32) 评论(0) 推荐(0)

|NO.Z.00070|——————————|BigDataEnd|——|Hadoop&实时数仓.V01|——|实时数仓.v01|数据质量|

摘要: 一、实时数仓——数据质量 ### 数据质量概述 ~~~ 流程图描述了一般的实时数据计算流程,接收日志或者MQ到kafka, ~~~ 用Flink进行处理和计算(指标),将最终计算结果(指标)存储在redis中, ~~~ 最后查询出redis中的数据给大屏、看板等展示。 ~~~ 但是在整个过程中,不得 阅读全文

posted @ 2022-04-16 14:16 yanqi_vip 阅读(68) 评论(0) 推荐(0)

|NO.Z.00069|——————————|BigDataEnd|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-16 14:15 yanqi_vip 阅读(13) 评论(0) 推荐(0)

|NO.Z.00068|——————————|^^ 配置 ^^|——|Hadoop&实时数仓.V08|——|可视化.v08|监控:grafana可视化实时redis数据.V8|

摘要: 一、安装grafana-redis插件 ### 安装grafanan-redis插件 ~~~ # 安装grafana-redis插件 [root@hadoop00 ~]# /opt/yanqi/servers/grafana/bin/grafana-cli plugins install redis 阅读全文

posted @ 2022-04-16 14:15 yanqi_vip 阅读(150) 评论(0) 推荐(0)

|NO.Z.00067|——————————|^^ 配置 ^^|——|Hadoop&实时数仓.V07|——|可视化.v07|监控:grafana可视化flink指标.V7|

摘要: 一、在prometheus下添加数据源 ### 配置数据源流程 ~~~ ——>http://hadoop00:3000——>Configuration——>Data Sources——> ~~~ ——>Add data source——>Prometheus——> ~~~ ——>Name:prome 阅读全文

posted @ 2022-04-16 14:14 yanqi_vip 阅读(20) 评论(0) 推荐(0)

|NO.Z.00066|——————————|^^ 部署 ^^|——|Hadoop&实时数仓.V06|——|可视化.v06|监控:grafana部署.V6|

摘要: 一、通过grafana工具监控,可视化效果友好: ### 下载grafana版本 ~~~ # 下载grafana版本包 [root@hadoop00 software]# wget -c https://dl.grafana.com/oss/release/grafana-7.3.1.linux-a 阅读全文

posted @ 2022-04-16 14:14 yanqi_vip 阅读(39) 评论(0) 推荐(0)

|NO.Z.00065|——————————|^^ 配置 ^^|——|Hadoop&实时数仓.V05|——|可视化.v05|监控:Flink配置.V5|

摘要: 一、修改flink配置,开放flink被监控端口 ### 把prometheus的jar包复制到flink的lib目录下 ~~~ # 把prometheus的jar包复制到flink的lib目录下 ~~~ # prometheus的jar包的地址在flink的plugin目录下:/opt/yanqi 阅读全文

posted @ 2022-04-16 14:13 yanqi_vip 阅读(47) 评论(0) 推荐(0)

|NO.Z.00064|——————————|^^ 部署 ^^|——|Hadoop&实时数仓.V04|——|可视化.v04|监控:pushgateway部署.V4|

摘要: 一、部署pushgateway: ### pushgateway ~~~ Pushgateway 是 Prometheus 生态中一个重要工具,使用它的原因主要是: ~~~ Prometheus 采用 pull 模式,可能由于不在一个子网或者防火墙原因, ~~~ 导致 Prometheus 无法直接 阅读全文

posted @ 2022-04-16 14:13 yanqi_vip 阅读(35) 评论(0) 推荐(0)

|NO.Z.00062|——————————|^^ 部署 ^^|——|Hadoop&实时数仓.V02|——|可视化.v02|监控:Prometheus部署.V2|

摘要: 一、prometheus部署:安装go语言环境 ### 下载版本包并解压 ~~~ # 由于Prometheus 是用golang开发的,所以首先安装一个go环境,Go语言是跨平台,支持Windows、Linux、 ~~~ # Windows :go1.8.3.windows-amd64.msi (7 阅读全文

posted @ 2022-04-16 14:12 yanqi_vip 阅读(141) 评论(0) 推荐(0)

|NO.Z.00063|——————————|^^ 部署 ^^|——|Hadoop&实时数仓.V03|——|可视化.v03|监控:node_exporter部署.V3|

摘要: 一、部署prometheus-exporter ### 在系统层用作系统监控exporter ~~~ # 下载exporter版本包,主机是centos系统;因此用的监控export是node_exporter-0.16.0.linux-amd64.tar.gz , [root@hadoop00 s 阅读全文

posted @ 2022-04-16 14:12 yanqi_vip 阅读(21) 评论(0) 推荐(0)

|NO.Z.00061|——————————|^^ 部署 ^^|——|Hadoop&实时数仓.V01|——|可视化.v01|监控:Prometheus部署.V1|

摘要: 一、系统实时监控&可视化 ### 普罗米修斯Prometheus ~~~ # 功能:在业务层用作埋点系统 ~~~ Prometheus支持多种语言(Go,java,python,ruby官方提供客户端, ~~~ 其他语言有第三方开源客户端)。我们可以通过客户端方便的对核心业务进行埋点。 ~~~ 如下 阅读全文

posted @ 2022-04-16 14:11 yanqi_vip 阅读(32) 评论(0) 推荐(0)

|NO.Z.00059|——————————|BigDataEnd|——|Hadoop&实时数仓.V39|——|项目.v39|需求六:数据处理&支付异常.V2|——|编程实现|

摘要: 一、编程实现:交易支付异常统计 ### 编程实现:样例类:OrderDetail package modes case class OrderDetail(orderId:String, status:String, orderCreateTime:String, price:Double) ### 阅读全文

posted @ 2022-04-16 14:10 yanqi_vip 阅读(41) 评论(0) 推荐(0)

|NO.Z.00060|——————————|BigDataEnd|——————————————————————————————————————

摘要: NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-16 14:10 yanqi_vip 阅读(10) 评论(0) 推荐(0)

|NO.Z.00057|——————————|BigDataEnd|——|Hadoop&实时数仓.V37|——|项目.v37|需求五:数据处理&渠道来源统计.V3|——|编译打印|

摘要: 一、启动相关服务:显示:黑名单用户ID、广告ID、点击数 ### 启动相关服务 ~~~ # 启动zookeeper服务 [root@hadoop01 ~]# ./zk.sh start ~~~ # 启动kafka服务:所有节点 [root@hadoop01 ~]# kafka-server-star 阅读全文

posted @ 2022-04-16 14:09 yanqi_vip 阅读(34) 评论(0) 推荐(0)

|NO.Z.00058|——————————|BigDataEnd|——|Hadoop&实时数仓.V38|——|项目.v38|需求六:数据处理&支付异常.V1|——|需求分析|

摘要: 一、需求6:交易支付异常 二、数据格式 9390,1,2020-07-28 00:15:11,295 5990,1,2020-07-28 00:16:12,165 9390,2,2020-07-28 00:18:11,295 5990,2,2020-07-28 00:18:12,165 9390,3 阅读全文

posted @ 2022-04-16 14:09 yanqi_vip 阅读(36) 评论(0) 推荐(0)

|NO.Z.00055|——————————|BigDataEnd|——|Hadoop&实时数仓.V35|——|项目.v35|需求五:数据处理&渠道来源统计.V1|——|需求分析|

摘要: 一、需求5:实时统计各渠道来源用户数量 二、编程实现工具类:SourceKafka package myutils import java.util.Properties import org.apache.flink.api.common.serialization.SimpleStringSch 阅读全文

posted @ 2022-04-16 14:08 yanqi_vip 阅读(24) 评论(0) 推荐(0)

|NO.Z.00056|——————————|BigDataEnd|——|Hadoop&实时数仓.V36|——|项目.v36|需求五:数据处理&渠道来源统计.V2|——|编程实现|

摘要: 一、编程实现:ChanalStatistics:实时统计各渠道来源用户数量 package dw.dws import com.alibaba.fastjson.{JSON, JSONObject} import modes.{ChanalDetail, CountByChannal} import 阅读全文

posted @ 2022-04-16 14:08 yanqi_vip 阅读(53) 评论(0) 推荐(0)

|NO.Z.00054|——————————|BigDataEnd|——|Hadoop&实时数仓.V34|——|项目.v34|需求四:数据处理&黑名单统计.V3|——|编译打印|

摘要: 一、启动相关服务:显示:黑名单用户ID、广告ID、点击数 ### 启动相关服务 ~~~ # 启动zookeeper服务 [root@hadoop01 ~]# ./zk.sh start ~~~ # 启动kafka服务:所有节点 [root@hadoop01 ~]# kafka-server-star 阅读全文

posted @ 2022-04-16 14:07 yanqi_vip 阅读(29) 评论(0) 推荐(0)

|NO.Z.00052|——————————|BigDataEnd|——|Hadoop&实时数仓.V32|——|项目.v32|需求四:数据处理&黑名单统计.V1|——|需求分析|

摘要: 一、需求4:显示:黑名单用户ID、广告ID、点击数 Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both han 阅读全文

posted @ 2022-04-16 14:06 yanqi_vip 阅读(26) 评论(0) 推荐(0)

|NO.Z.00051|——————————|BigDataEnd|——|Hadoop&实时数仓.V31|——|项目.v31|需求三:数据处理&增量统计广告.V5|——|编译打印|

摘要: 一、启动相关服务 ### 启动相关服务 ~~~ # 启动zookeeper服务 [root@hadoop01 ~]# ./zk.sh start ~~~ # 启动kafka服务:所有节点 [root@hadoop01 ~]# kafka-server-start.sh -daemon /opt/ya 阅读全文

posted @ 2022-04-16 14:06 yanqi_vip 阅读(22) 评论(0) 推荐(0)

|NO.Z.00053|——————————|BigDataEnd|——|Hadoop&实时数仓.V33|——|项目.v33|需求四:数据处理&黑名单统计.V2|——|编程实现|

摘要: 一、编程实现:工具类:显示:黑名单用户ID、广告ID、点击数 ### 编程实现:工具类一:SourceKafka package myutils import java.util.Properties import org.apache.flink.api.common.serialization. 阅读全文

posted @ 2022-04-16 14:06 yanqi_vip 阅读(25) 评论(0) 推荐(0)

|NO.Z.00050|——————————|BigDataEnd|——|Hadoop&实时数仓.V30|——|项目.v30|需求三:数据处理&增量统计广告.V4|——|编程实现|

摘要: 一、编程实现:每隔5秒统计最近1小时内广告的点击量$增量统计 package dw.dws import modes.{AdClick, CountByProductAd} import myutils.SourceKafka import java.sql.Date import java.tex 阅读全文

posted @ 2022-04-16 14:05 yanqi_vip 阅读(26) 评论(0) 推荐(0)

|NO.Z.00049|——————————|BigDataEnd|——|Hadoop&实时数仓.V29|——|项目.v29|需求三:数据处理&增量统计广告.V3|——|编程实现|

摘要: 一、编程实现:每隔5秒统计最近1小时内广告的点击量$增量统计 ### 编程实现:工具类一:SourceKafka package myutils import java.util.Properties import org.apache.flink.api.common.serialization. 阅读全文

posted @ 2022-04-16 14:05 yanqi_vip 阅读(22) 评论(0) 推荐(0)

|NO.Z.00048|——————————|BigDataEnd|——|Hadoop&实时数仓.V28|——|项目.v28|需求三:数据处理&增量统计广告.V2|——|Flume配置|

摘要: 一、Flume配置文件: ### flume配置文件:event-conf.properties ~~~ # 写入Flume配置文件:event-conf.properties [root@hadoop02 ~]# vim /opt/yanqi/servers/flume-1.9.0/conf/ev 阅读全文

posted @ 2022-04-16 14:04 yanqi_vip 阅读(38) 评论(0) 推荐(0)

|NO.Z.00046|——————————|BigDataEnd|——|Hadoop&实时数仓.V26|——|项目.v26|需求二:数据处理&增量统计.V4|——|编译打印|

摘要: 一、启动相关服务 ### 启动相关服务 ~~~ # 启动zookeeper服务 [root@hadoop01 ~]# ./zk.sh start ~~~ # 启动kafka服务:所有节点 [root@hadoop01 ~]# kafka-server-start.sh -daemon /opt/ya 阅读全文

posted @ 2022-04-16 14:03 yanqi_vip 阅读(31) 评论(0) 推荐(0)

|NO.Z.00047|——————————|BigDataEnd|——|Hadoop&实时数仓.V27|——|项目.v27|需求三:数据处理&增量统计广告.V1|——|需求分析|

摘要: 一、需求3:每隔5秒统计最近1小时内广告的点击量 增量 二、实现步骤 ### 实现步骤 ~~~ 获取数据源(input) flume ~~~ 转化 ~~~ 数据源的格式:area:uid:product_id:time: 样例类中AdClick;过滤操作filter product_id != nu 阅读全文

posted @ 2022-04-16 14:03 yanqi_vip 阅读(38) 评论(0) 推荐(0)

导航