02 2021 档案

2021寒假（30）
摘要：import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} //统计每个省份每个广告被点击量排行的top3 object Spark24Demo{ def main(args: Array[Str 阅读全文
posted @ 2021-02-24 23:49 祈欢
2021寒假（29）
摘要：import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} ////统计每个省份每个广告被点击量排行的top3=>(省份,广告),点击量) object Spark24Top3AD { def m 阅读全文
posted @ 2021-02-19 23:53 祈欢 阅读(39) 评论(0) 推荐(0)
2021寒假（28）
摘要：TensorFlow循环神经网络 实验原理 RNN的网络结构及原理 RNNs包含输入单元(Input units)，输入集标记为{x0,x1,...,xt,xt+1,...}，而输出单元(Output units)的输出集则被标记为{y0,y1,...,yt,yt+1.,..}。RNNs还包含隐藏单 阅读全文
posted @ 2021-02-18 21:51 祈欢 阅读(86) 评论(0) 推荐(0)
2021寒假（27）
摘要：TensorFlow多层感知机 实验原理 多层感知机是由感知机推广而来，感知机学习算法(PLA: Perceptron Learning Algorithm)用神经元的结构进行描述的话就是一个单独的。 感知机（PLA）的神经网络表示如下： 从上述内容更可以看出，PLA是一个线性的二分类器，但不能对非 阅读全文
posted @ 2021-02-14 23:31 祈欢 阅读(98) 评论(0) 推荐(0)
2021寒假（26）
摘要：TensorFlow K近邻算法 实验原理 knn的基本原理： KNN是通过计算不同特征值之间的距离进行分类。 整体的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。K通常是不大于20的整数。KNN算法中，所选择的邻居都是已经 阅读全文
posted @ 2021-02-10 23:57 祈欢 阅读(80) 评论(0) 推荐(0)
2021寒假（25）
摘要：Tensorflow逻辑回归 实验原理 逻辑回归是机器学习中很简答的一个例子，这篇文章就是要介绍如何使用tensorflow实现一个简单的逻辑回归算法。 逻辑回归可以看作只有一层网络的前向神经网络，并且参数连接的权重只是一个值，而非矩阵。公式为：y_predict=logistic(X*W+b)，其 阅读全文
posted @ 2021-02-09 22:46 祈欢 阅读(62) 评论(0) 推荐(0)
2021寒假（24）
摘要：TensorFlow线性回归 实验原理 线性回归是用来度量变量间关系的统计技术。该算法的实现并不复杂，但可以适用于很多情形。正是因为这些原因，以线性回归作为开始学习TensorFlow的开始。 不管在两个变量（简单回归）或多个变量（多元回归）情形下，线性回归都是对一个依赖变量，多个独立变量xi，一个 阅读全文
posted @ 2021-02-07 23:46 祈欢 阅读(67) 评论(0) 推荐(0)
2021寒假（23）
摘要：TensorFlow基本操作 实验原理 TensorFlow 是一个编程系统，使用图来表示计算任务，图中的节点被称之为 op (operation 的缩写)。一个 op 获得 0 个或多个 Tensor，执行计算产生 0 个或多个 Tensor。每个 Tensor 是一个类型化的多维数组。例如，你可 阅读全文
posted @ 2021-02-06 23:47 祈欢 阅读(55) 评论(0) 推荐(0)
《机器学习》（9）
摘要：from sklearn.model_selection import train_test_split,cross_val_score # 交叉验证所需的函数 from sklearn.model_selection import KFold,LeaveOneOut,LeavePOut,Shuff 阅读全文
posted @ 2021-02-03 23:42 祈欢 阅读(61) 评论(0) 推荐(0)
2021寒假（22)
摘要：RDD行动算子 1）聚集 RDD 中的所有元素，先聚合分区内数据，再聚合分区间数据 val rdd: RDD[Int] = sc.makeRDD(List(1,2,3,4)) // 聚合数据 val reduceResult: Int = rdd.reduce(_+_) 2）在驱动程序中，以数组 A 阅读全文
posted @ 2021-02-03 23:41 祈欢 阅读(52) 评论(0) 推荐(0)
2021寒假（21)
摘要：算子用法 1）当分区内计算规则和分区间计算规则相同时，aggregateByKey 就可以简化为 foldByKey val dataRDD1 = sparkContext.makeRDD(List(("a",1),("b",2),("c",3))) val dataRDD2 = dataRDD1. 阅读全文
posted @ 2021-02-02 22:01 祈欢 阅读(39) 评论(0) 推荐(0)
《机器学习》（8）
摘要：X = [[1, -1, 2], [2, 0, 0], [0, 1, -1]] # 使用L2正则化 from sklearn.preprocessing import normalize # 归一化函数 # 归一化就是要把需要处理的数据经过处理后（通过某种算法）限制在你需要的一定范围内。首先归一化是 阅读全文
posted @ 2021-02-02 22:00 祈欢 阅读(40) 评论(0) 推荐(0)
《机器学习》（7）
摘要：from sklearn.preprocessing import MinMaxScaler import numpy as np # 归一化 # 产生数据集 # 数据集：产生具有均匀分布的数组，low起始值，high结束值，size形状 data = np.random.uniform(0, 10 阅读全文
posted @ 2021-02-02 01:02 祈欢 阅读(35) 评论(0) 推荐(0)