soyosuyang

2017年11月2日

摘要：错误一：错误处理：将IDEA中的Scala 改为2.10.4版本这个问题主要出现在 Spark程序使用 case class 类时错误二：错误处理：将IDEA中的Scala 改为2.12.3版本这个问题主要出现在 Spark程序使用 Seq时：比如：阅读全文

posted @ 2017-11-02 16:26 soyosuyang 阅读(2329) 评论(0) 推荐(0)

逻辑回归与多项逻辑回归

摘要：信息阅读全文

posted @ 2017-11-02 14:01 soyosuyang 阅读(264) 评论(0) 推荐(0)

2017年11月1日

特征选择--->卡方选择器

摘要：特征选择（Feature Selection）指的是在特征向量中选择出那些“优秀”的特征，组成新的、更“精简”的特征向量的过程。它在高维数据分析中十分常用，可以剔除掉“冗余”和“无关”的特征，提升学习器的性能。特征选择方法和分类方法一样，也主要分为有监督（Supervised）和无监督（Unsup 阅读全文

posted @ 2017-11-01 14:08 soyosuyang 阅读(331) 评论(0) 推荐(0)

2017年10月31日

特征变化--->特征向量中部分特征到类别索引的转换（VectorIndexer）

摘要： VectorIndexer：倘若所有特征都已经被组织在一个向量中，又想对其中某些单个分量进行处理时，Spark ML提供了VectorIndexer类来解决向量数据集中的类别性特征转换。通过为其提供maxCategories超参数，它可以自动识别哪些特征是类别型的，并且将原始值转换为类别索引。它阅读全文

posted @ 2017-10-31 21:32 soyosuyang 阅读(458) 评论(0) 推荐(0)

特征变化--->标签到向量的转换（OneHotEncoder）

摘要：一、One-Hot Encoding One-Hot编码，又称为一位有效编码，主要是采用位状态寄存器来对个状态进行编码，每个状态都由他独立的寄存器位，并且在任意时候只有一位有效。在实际的机器学习的应用任务中，特征有时候并不总是连续值，有可能是一些分类值，如性别可分为“male”和“female”。阅读全文

posted @ 2017-10-31 20:46 soyosuyang 阅读(4126) 评论(0) 推荐(0)

特征变化--->索引到标签的转换（IndexToString）

摘要：结果： + + + +| id|label|label_index|+ + + +| 0| log| 0.0|| 1| text| 1.0|| 2| text| 1.0|| 3| soyo| 2.0|| 4| text| 1.0|| 5| log| 0.0|| 6| log| 0.0|| 7| lo 阅读全文

posted @ 2017-10-31 19:11 soyosuyang 阅读(1065) 评论(0) 推荐(0)

特征变化--->标签到索引的转换（StringIndexer）

摘要：结果： logtextsoyo+ + + +|id |type|type_index|+ + + +|0 |log |0.0 ||1 |text|1.0 ||2 |text|1.0 ||3 |soyo|2.0 ||4 |text|1.0 ||5 |log |0.0 ||6 |log |0.0 ||7 阅读全文

posted @ 2017-10-31 11:03 soyosuyang 阅读(1773) 评论(0) 推荐(0)

2017年10月28日

Spark 机器学习 ---CountVectorizer

摘要：结果： 8sparksoyo+ + + +|id |words |features |+ + + +|0 |[soyo, spark, soyo2, soyo, 8] |(3,[0,1,2],[1.0,1.0,2.0])||1 |[soyo, hadoop, soyo, hadoop, xiaozh 阅读全文

posted @ 2017-10-28 20:57 soyosuyang 阅读(1141) 评论(0) 推荐(0)

Spark 机器学习 ---Word2Vec

摘要： package Spark_MLlib import org.apache.spark.ml.feature.Word2Vec import org.apache.spark.sql.SparkSession object 特征抽取_Word2Vec { val spark=SparkSession.builder().master("local").appName("Word... 阅读全文

posted @ 2017-10-28 14:53 soyosuyang 阅读(1369) 评论(0) 推荐(0)

2017年10月24日

Scala 方法接受变参

摘要： def Parametron(strings:String*): Unit ={ strings.foreach(x=>{ println(x) if (x=="88") println(s"********** ${x.toInt}************") }) } ... 阅读全文

posted @ 2017-10-24 21:02 soyosuyang 阅读(208) 评论(0) 推荐(0)

公告