残阳飞雪

摘要： /** * Created by lkl on 2017/6/27. */import java.sql.{DriverManager, ResultSet}import org.apache.spark.SparkContextimport org.apache.spark.SparkConfim 阅读全文

摘要： //spark-shell --driver-class-path /home/hadoop/test/mysqljdbc.jarimport java.sql.DriverManager// --queue szbigdataimport org.apache.spark.{SparkConf, 阅读全文

摘要： 1. 决策树的基本概念 我们这里介绍一下一个比较简单的机器学习系统 决策树. 它的概念最容易理解, 因为人类的许多决策实际上就是一个决策树. 通常使用的分类回归树（class and regress tree）是一个二叉树。它的形式一般为： 每个方框代表一个节点. 每个非叶子节点有2个分支, 一个是 阅读全文

摘要： 最近在做金融科技建模的时候，字段里面很多缺少值得时候，模型对于新用户的预测会出现很大的不稳定，即PSI较大的情况。 虽然我们依据字段IV值得大小不断的在调整字段且开发新变量，但是很多IV值很大的字段直接用平均值、或者0代替显然不够合理。 所以，我们在尝试把字段缺失值当作需要预测的值，把该字段不缺失的 阅读全文

摘要： import scala.math._ import breeze.plot._ import breeze.linalg._ import scala.collection.mutable.ArrayBuffer //https://stackoverflow.com/questions/36984780/spark-shell-how-to-use-breeze-viz object br... 阅读全文

摘要： 参考网址：https://stackoverflow.com/questions/36984780/spark-shell-how-to-use-breeze-viz 刚开始按照网上的教程只导入了 两个包，以为是版本问题，报错一直折腾，没想到看到参考网址，下载了另外5个包后，作图才完成，完整导入的包 阅读全文

摘要： import org.apache.spark.mllib.evaluation.BinaryClassificationMetrics import org.apache.spark.mllib.linalg.Vectors import org.apache.spark.mllib.regression.LabeledPoint import org.apache.spark.mllib.t... 阅读全文

摘要： /** * Created by lkl on 2018/1/16. */ import org.apache.spark.mllib.evaluation.BinaryClassificationMetrics import org.apache.spark.mllib.linalg.Vectors import org.apache.spark.mllib.regression.La... 阅读全文

摘要： 1.数据源格式：（x,y,t),第一个值x是x坐标范围是1-250的整数，y是1-10的整数，t是滑块从上一个坐标到下一个坐标的时间差，ok是判断是人操作的，Fail是判断是机器操作的，数据看的出，同一个记录里面的同一个点,即x,y都相同，但是t不同，以此分析，如果同一个点只出现一次，则该点记录为1 阅读全文

摘要： /** * Created by lkl on 2017/12/7. */ import breeze.numerics.abs import org.apache.spark.sql.SQLContext import org.apache.spark.mllib.regression.LabeledPoint import org.apache.spark.SparkContext ... 阅读全文