摘要：
最近需要做一些文本摘要的东西，选取了TextRank（论文参见《TextRank: Bringing Order into Texts》）作为对比方案，该方案可以很方便的使用Python相关库进行实现。 下面介绍如何利用Python实现一个简单的文本摘要工具。 Demo 【前期准备】： 【背景知识】 阅读全文
posted @ 2017-07-14 10:09
bonelee
阅读(1200)
评论(0)
推荐(0)
摘要：
example.groupByKey().mapValues(list) 阅读全文
posted @ 2017-07-12 16:28
bonelee
阅读(9345)
评论(0)
推荐(1)
摘要：
distinct(numPartitions=None) Return a new RDD containing the distinct elements in this RDD. >>> sorted(sc.parallelize([1, 1, 2, 3]).distinct().collect 阅读全文
posted @ 2017-07-12 14:07
bonelee
阅读(2873)
评论(0)
推荐(0)
摘要：
lookup(key) Return the list of values in the RDD for key key. This operation is done efficiently if the RDD has a known partitioner by only searching 阅读全文
posted @ 2017-07-12 10:47
bonelee
阅读(3234)
评论(0)
推荐(0)
摘要：
rdd = sc.parallelizeDoubles(testData); rdd = sc.parallelizeDoubles(testData); rdd = sc.parallelizeDoubles(testData); Now we’ll calculate the mean of o 阅读全文
posted @ 2017-07-12 10:15
bonelee
阅读(610)
评论(0)
推荐(0)
摘要：
上面是粗暴的做法 简单的做法： 阅读全文
posted @ 2017-07-12 09:50
bonelee
阅读(1303)
评论(0)
推荐(0)
摘要：
predictionsAndLabels = predictions.zip(testData.map(lambda lp: lp.label)) 阅读全文
posted @ 2017-07-11 16:44
bonelee
阅读(2284)
评论(0)
推荐(0)
摘要：
class pyspark.mllib.tree.RandomForest[source] Learning algorithm for a random forest model for classification or regression. New in version 1.2.0. New 阅读全文
posted @ 2017-07-11 14:48
bonelee
阅读(1652)
评论(0)
推荐(0)
摘要：
Refer to the DecisionTree Python docs and DecisionTreeModel Python docs for more details on the API. from pyspark.mllib.tree import DecisionTree, Deci 阅读全文
posted @ 2017-07-11 14:47
bonelee
阅读(1496)
评论(0)
推荐(0)
摘要：
分类（Classification） 下面的例子说明了怎样导入LIBSVM 数据文件，解析成RDD[LabeledPoint]，然后使用决策树进行分类。GINI不纯度作为不纯度衡量标准并且树的最大深度设置为5。最后计算了测试错误率从而评估算法的准确性。 以下代码展示了如何载入一个LIBSVM数据文件 阅读全文
posted @ 2017-07-11 11:43
bonelee
阅读(3011)
评论(0)
推荐(0)
浙公网安备 33010602011771号