摘要: 算子用法 1)当分区内计算规则和分区间计算规则相同时,aggregateByKey 就可以简化为 foldByKey val dataRDD1 = sparkContext.makeRDD(List(("a",1),("b",2),("c",3))) val dataRDD2 = dataRDD1. 阅读全文
posted @ 2021-02-02 22:01 祈欢 阅读(33) 评论(0) 推荐(0)
摘要: X = [[1, -1, 2], [2, 0, 0], [0, 1, -1]] # 使用L2正则化 from sklearn.preprocessing import normalize # 归一化函数 # 归一化就是要把需要处理的数据经过处理后(通过某种算法)限制在你需要的一定范围内。首先归一化是 阅读全文
posted @ 2021-02-02 22:00 祈欢 阅读(27) 评论(0) 推荐(0)
摘要: from sklearn.preprocessing import MinMaxScaler import numpy as np # 归一化 # 产生数据集 # 数据集:产生具有均匀分布的数组,low起始值,high结束值,size形状 data = np.random.uniform(0, 10 阅读全文
posted @ 2021-02-02 01:02 祈欢 阅读(31) 评论(0) 推荐(0)