摘要：
Spark算子实战应用 数据集 ：http://grouplens.org/datasets/movielens/ MovieLens 1M Datase 相关数据文件 ： users.dat UserID::Gender::Age::Occupation::Zip-code movies.dat 阅读全文
posted @ 2017-07-02 13:22
fcyh
阅读(993)
评论(2)
推荐(1)
摘要：
题目： 通过给出的驾驶员行为数据（trip.csv），对驾驶员不同时段的驾驶类型进行聚类,聚成普通驾驶类型，激进类型和超冷静型3类 。 利用Python的scikit-learn包中的Kmeans算法进行聚类算法的应用练习。并利用scikit-learn包中的PCA算法来对聚类后的数据进行降维，然后 阅读全文
posted @ 2017-06-29 13:35
fcyh
阅读(26102)
评论(51)
推荐(6)
摘要：
Spark MLlib回归算法 线性回归、逻辑回归、SVM和ALS 1、线性回归： （1）模型的建立： 回归正则化方法（Lasso，Ridge和ElasticNet）在高维和数据集变量之间多重共线性情况下运行良好。 数学上，ElasticNet被定义为L1和L2正则化项的凸组合： 通过适当设置α，E 阅读全文
posted @ 2017-06-29 09:23
fcyh
阅读(1882)
评论(0)
推荐(0)
摘要：
m个苹果放在n个盘子里面有多少种放法？（动态规划） 实现代码如下： 运行结果如下： 阅读全文
posted @ 2017-06-28 19:18
fcyh
阅读(2478)
评论(0)
推荐(0)
摘要：
通讯信息管理系统 可以实现通讯信息的增加，浏览，删除，修改，查询，保存和读取功能。该系统还限制了通讯信息的条数（limit变量来限制） 文件放置结构： 具体实现代码如下： 阅读全文
posted @ 2017-06-28 17:54
fcyh
阅读(876)
评论(0)
推荐(0)
摘要：
根据无向图的边邻接矩阵求任意一点到其他所有点之间的最短路径。 直接上代码： 运行结果如下： 提示：如果想要求任意两点之间的最短路径，可以修改 ShortestPath_DIJ 函数的参数，增加一个目标点参数，在输出时只输出对应的最短距离即可。 阅读全文
posted @ 2017-06-28 17:11
fcyh
阅读(2943)
评论(2)
推荐(0)
摘要：
Spark Streaming中的操作函数讲解 根据根据Spark官方文档中的描述，在Spark Streaming应用中，一个DStream对象可以调用多种操作，主要分为以下几类 Transformations Window Operations Join Operations Output Op 阅读全文
posted @ 2017-06-20 12:58
fcyh
阅读(5419)
评论(0)
推荐(0)
摘要：
Spark编程模型（RDD编程模型） 下图给出了rdd 编程模型，并将下例中用 到的四个算子映射到四种算子类型。spark 程序工作在两个空间中：spark rdd空间和 scala原生数据空间。在原生数据空间里， 数据表现为标量（即scala基本类型，用橘 色小方块表示）、集合类型（蓝色虚线 框） 阅读全文
posted @ 2017-06-18 14:54
fcyh
阅读(444)
评论(0)
推荐(0)
摘要：
scala实现彩票算法 （1）具体实现代码如下： （2）运行结果如下： 阅读全文
posted @ 2017-06-04 12:27
fcyh
阅读(1233)
评论(0)
推荐(0)
摘要：
决策树 ID3算法 决策树： 以天气数据库的训练数据为例。 Outlook Temperature Humidity Windy PlayGolf? sunny 85 85 FALSE no sunny 80 90 TRUE no overcast 83 86 FALSE yes rainy 70 阅读全文
posted @ 2017-06-04 12:16
fcyh
阅读(17989)
评论(0)
推荐(0)
浙公网安备 33010602011771号