Code_exploration

摘要： 一：介绍 （1）日志采集系统 （2）是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据。 （3）具有基于流数据流的简单灵活的架构。 （4）具有可靠的可靠性机制和许多故障转移和恢复机制，具有强大的容错能力。 二：flume的三个组件：【Source，Channel，Sink】构成A 阅读全文

摘要： import numpy as np import pandas as pd # 序列的创建，总共三种方式 #(1)一维数组创建 arr = np.arange(10) print(arr) print(type(arr)) s1 = pd.Series(arr) print(s1) print(type(s1)) print(s1[1]) #(2)字典的方式创建 dic = {'a'... 阅读全文

摘要： import numpy as np # ------------线性代数运算------------- _arr1 = np.array([[1,2,3,5],[2,4,1,6],[1,1,4,3],[2,5,4,1]]) print(_arr1) print(np.linalg.det(_arr1)) #打印矩阵的行列式 print(np.linalg.inv(_arr1)) #打... 阅读全文

摘要： 下一篇更新线性代数运算 阅读全文

摘要： import numpy as np arr = np.array(np.arange(12).reshape(3,4)) print(arr) print(arr[0]) #获取二维数组的第一行 print(arr[1]) #获取二维数组的第二行 print(arr[:3]) #获取二维数组的前三行 print(arr[[0,2]]) #获取二维数组的第1行和第三行 print(ar... 阅读全文

摘要： import numpy as np #数组的一些函数 # 将两个矩阵横向连接,必须满足行数相同 arr1 = np.array([1,2,3,4]) arr2 = np.array([2,3,4,5]) arr3 = np.hstack((arr1,arr2)) print(arr3) #纵向连接两个矩阵,必须满足列数相同 arr4 = np.vstack((arr1,arr2)) pr... 阅读全文

摘要： import numpy as np arr = np.array([[1,2,3],[2,43,5]]) print(arr.shape) # 获取数组的行数和列数，以tuple的形式，打印结果为(2,3) print(arr.dtype) # 获取数组的元素类型，打印结果为int32 print(arr.ravel()) # 将多维数组变为一维数组，打印结果为[ 1 2 3 2 4... 阅读全文

摘要： import numpy as np # numpy创建有规律的一维数组(元组构成) l1 = np.arange(5) print(type(l1)) print(l1) # 打印结果 # # [0 1 2 3 4] #创建一个没有规律的一维数组(元组构成) l2 = np.array((1,23,435,65,43)) print(type(l2)) print(l2) # 打印结果 ... 阅读全文

摘要： 1.共享变量分两种：广播变量和累加器，实现任务间变量共享访问； 2.广播变量： 将变量以缓存并只读的方式分发至每个机器节点上。类似于hadoop中的分布式缓存。 特点：a.只读；b.在每个节点中缓存； 创建方式：调用sc.broadcast()创建广播变量；获取广播变量：bc.value 3.累加器 阅读全文

摘要： 1.运行机制 1.依赖：宽依赖和窄依赖，RDD具有分区 宽依赖：多个子RDD的分区依赖同一个父RDD的分区，类似reduceByKey；在父RDD的角度，理解为超生； 窄依赖：父RDD的每个分区最多被一个子RDD使用，类似map()；在父RDD的角度，理解为独生； 2.依赖和分区 分区:RDD分区指 阅读全文