摘要：线性回归，就是用一条直线来解释自变量与因为变量之间的关系。我们可以将线性回归表示为：y=W^0 + W^1X^1 + W^2X^2 + ......W^NX^N=∑W^IX^I 线性回归目标函数为： J(w) = 1/2∑（y^i - y_^i）^2 y表示真实值，y_表示预测值。J（w）表示损失函 阅读全文

摘要：pyspark --master local 私用一个workder线程本地话运行spark(完全不并行) pyspark --master local[*] 使用逻辑CPU个数数量的线程来本地化运行Spark pyspark --master local[k] 使用k个worker线程本地话spa 阅读全文

摘要：监督学习 ： 分类，回归 输入数据（有特征有标签，即有标准答案） 无监督学习： 聚类 输入数据（有特征无标签，即无标准答案） 阅读全文

摘要：1.数据集划分 2.sklearn数据集接口介绍 3.sklearn分类数据集 4.sklearn回归数据集 数据集划分为： 1.原始数据集 2.测试数据集 接口介绍： 1.sklearn数据集划分API: sklearn.model_selection.train_test_split 2.sci 阅读全文

摘要：通过特定的统计方法(数学方法)将数据转换成算法要求的数据 数值行数据：标准缩放： 1.归一化 2.标准化 类别型数据：one-hot编码 时间类型：时间的切分 sklearn特征处理API： sklearn.preprocessing 归一化： 特点：通过对原始数据进行变化把数据映射到(默认为【0， 阅读全文