bonelee - 博客园

2017年7月12日

摘要： rdd = sc.parallelizeDoubles(testData); rdd = sc.parallelizeDoubles(testData); rdd = sc.parallelizeDoubles(testData); Now we’ll calculate the mean of o 阅读全文

posted @ 2017-07-12 10:15 bonelee 阅读(595) 评论(0) 推荐(0)

python spark 求解最大最小平均中位数

摘要：上面是粗暴的做法简单的做法：阅读全文

posted @ 2017-07-12 09:50 bonelee 阅读(1286) 评论(0) 推荐(0)

2017年7月11日

我的spark python 决策树实例

摘要： predictionsAndLabels = predictions.zip(testData.map(lambda lp: lp.label)) 阅读全文

posted @ 2017-07-11 16:44 bonelee 阅读(2258) 评论(0) 推荐(0)

python spark 随机森林入门demo

摘要： class pyspark.mllib.tree.RandomForest[source] Learning algorithm for a random forest model for classification or regression. New in version 1.2.0. New 阅读全文

posted @ 2017-07-11 14:48 bonelee 阅读(1628) 评论(0) 推荐(0)

python spark 决策树入门demo

摘要： Refer to the DecisionTree Python docs and DecisionTreeModel Python docs for more details on the API. from pyspark.mllib.tree import DecisionTree, Deci 阅读全文

posted @ 2017-07-11 14:47 bonelee 阅读(1473) 评论(0) 推荐(0)

spark 决策树分类算法demo

摘要：分类（Classification）下面的例子说明了怎样导入LIBSVM 数据文件，解析成RDD[LabeledPoint]，然后使用决策树进行分类。GINI不纯度作为不纯度衡量标准并且树的最大深度设置为5。最后计算了测试错误率从而评估算法的准确性。以下代码展示了如何载入一个LIBSVM数据文件阅读全文

posted @ 2017-07-11 11:43 bonelee 阅读(2989) 评论(0) 推荐(0)

2017年7月10日

word2vec (一) 简介与训练过程概要

摘要：摘自：http://blog.csdn.net/thriving_fcl/article/details/51404655 词的向量化与word2vec简介 word2vec最初是Tomas Mikolov发表的一篇文章[1]，同时开源了相应的代码，作用是将所有词语投影到K维的向量空间，每个词语都可阅读全文

posted @ 2017-07-10 10:34 bonelee 阅读(1589) 评论(0) 推荐(0)

2017年7月8日

赴美生子入境经验汇总

摘要：遇到海关官员：白人中年女性问：你们来美国干什么？（这个问题是必问的问题）答：生宝宝顺便购物问：什么？生小孩？答：是的。（一定要微笑哦）问：你们带了多少现金？答：一共3万美金，还有visa卡，放心，我肯定会自费生孩子，不会占用美国政府的福利的。（一定要强调，这点很重要）问：你们打算住在哪里？答：我们定阅读全文

posted @ 2017-07-08 23:44 bonelee 阅读(2156) 评论(0) 推荐(0)

2017年7月6日

基于矩阵分解的推荐算法，简单入门

摘要：摘自：http://www.cnblogs.com/kobedeshow/p/3651833.html 本文将要讨论基于矩阵分解的推荐算法，这一类型的算法通常会有很高的预测精度，也活跃于各大推荐系统竞赛上面，前段时间的百度电影推荐最终结果的前10名貌似都是把矩阵分解作为一个单模型，最后各种ensem 阅读全文

posted @ 2017-07-06 14:23 bonelee 阅读(11178) 评论(3) 推荐(1)

Spark MLlib介绍

摘要： Spark MLlib介绍 Spark之所以在机器学习方面具有得天独厚的优势，有以下几点原因：（1）机器学习算法一般都有很多个步骤迭代计算的过程，机器学习的计算需要在多次迭代后获得足够小的误差或者足够收敛才会停止，迭代时如果使用Hadoop的MapReduce计算框架，每次计算都要读/写磁盘以及任阅读全文

posted @ 2017-07-06 12:11 bonelee 阅读(9245) 评论(0) 推荐(0)

将者，智、信、仁、勇、严也。

Hi，我是李智华，华为-安全AI算法专家，欢迎来到安全攻防对抗的有趣世界。

公告