soyosuyang

2017年11月19日

IDEA中Spark读Hbase中的数据

摘要：结果：阅读全文

posted @ 2017-11-19 14:49 soyosuyang 阅读(972) 评论(0) 推荐(1)

IDEA中 Spark 读Hbase 报错处理：

摘要：问题处理：在IDEA Spark程序中需要操作Hbase时，需要:start-hbase.sh 启动Hbase服务。不然就会报以上错误阅读全文

posted @ 2017-11-19 14:38 soyosuyang 阅读(1313) 评论(0) 推荐(0)

2017年11月15日

最直白的线性回归，多元线性回归，正则化项的理解

posted @ 2017-11-15 13:50 soyosuyang 阅读(1250) 评论(0) 推荐(0)

2017年11月14日

Spark GraphX 属性图操作

摘要：结果：阅读全文

posted @ 2017-11-14 19:56 soyosuyang 阅读(1606) 评论(0) 推荐(0)

Scala隐式转换

摘要：通过隐式转换，程序员可以在编写Scala程序时故意漏掉一些信息，让编译器去尝试在编译期间自动推导出这些信息来，这种特性可以极大的减少代码量，忽略那些冗长，过于细节的代码。使用方式： 1.将方法或变量标记为implicit 2.将方法的参数列表标记为implicit 3.将类标记为implicit 阅读全文

posted @ 2017-11-14 18:16 soyosuyang 阅读(159) 评论(0) 推荐(0)

2017年11月13日

Spark GraphX

摘要：结果： *****************找到图中属性是student的点soyo is student 找到途中边的属性是advisor的边5 to 3 属性为 advisor 找到图中的最大出度,入度,度数最大的出度:(5,2)最大的入度:(7,2)最大的度数:(5,3) 阅读全文

posted @ 2017-11-13 20:25 soyosuyang 阅读(178) 评论(0) 推荐(0)

交叉验证_自动获取模型最优超参数

摘要： package Spark_MLlib import org.apache.spark.ml.{Pipeline, PipelineModel} import org.apache.spark.ml.classification.{LogisticRegression, LogisticRegressionModel} import org.apache.spark.ml.evaluation... 阅读全文

posted @ 2017-11-13 16:07 soyosuyang 阅读(2283) 评论(0) 推荐(0)

2017年11月12日

协同过滤算法

摘要：结果：阅读全文

posted @ 2017-11-12 16:20 soyosuyang 阅读(637) 评论(0) 推荐(0)

2017年11月10日

聚类-----高斯混合模型

摘要：结果： + +| features|+ +|[5.1,3.5,1.4,0.2]||[4.9,3.0,1.4,0.2]||[4.7,3.2,1.3,0.2]||[4.6,3.1,1.5,0.2]||[5.0,3.6,1.4,0.2]||[5.4,3.9,1.7,0.4]||[4.6,3.4,1.4,0 阅读全文

posted @ 2017-11-10 14:59 soyosuyang 阅读(493) 评论(0) 推荐(0)

IDEA kafka producer数据输出缓慢和 kafka consumer 报错的处理

摘要：问题1. IDEA 中Kafa_Producer程序数据输出缓慢但不报错问题2. Kafa_Consumer程序报错： 17/11/10 11:31:11 ERROR ReceiverTracker: Deregistered receiver for stream 0: Error start 阅读全文

posted @ 2017-11-10 11:38 soyosuyang 阅读(1293) 评论(0) 推荐(0)

公告