bonelee - 博客园

2017年7月14日

摘要：阅读全文

posted @ 2017-07-14 14:08 bonelee 阅读(193) 评论(0) 推荐(0)

摘要： from: http://www.cnblogs.com/liulangmao/p/3951865.html 本篇主要介绍指令的transclude属性: transclude的值有三个: 1.transclude:false(默认值) 不启用transclude功能. 2.transclude:t 阅读全文

posted @ 2017-07-14 11:07 bonelee 阅读(252) 评论(0) 推荐(0)

摘要提取算法——本质上就是pagerank，选择rank最高的句子作为摘要，如果结合word2vec应该有非常好的效果

摘要：最近需要做一些文本摘要的东西，选取了TextRank（论文参见《TextRank: Bringing Order into Texts》）作为对比方案，该方案可以很方便的使用Python相关库进行实现。下面介绍如何利用Python实现一个简单的文本摘要工具。 Demo 【前期准备】：【背景知识】阅读全文

posted @ 2017-07-14 10:09 bonelee 阅读(1187) 评论(0) 推荐(0)

2017年7月12日

spark 按照key 分组然后统计每个key对应的最大、最小、平均值思路——使用groupby，或者reduceby

摘要： example.groupByKey().mapValues(list) 阅读全文

posted @ 2017-07-12 16:28 bonelee 阅读(9326) 评论(0) 推荐(1)

python spark 通过key来统计不同values个数

摘要： distinct(numPartitions=None) Return a new RDD containing the distinct elements in this RDD. >>> sorted(sc.parallelize([1, 1, 2, 3]).distinct().collect 阅读全文

posted @ 2017-07-12 14:07 bonelee 阅读(2865) 评论(0) 推荐(0)

spark rdd median 中位数求解

摘要： lookup(key) Return the list of values in the RDD for key key. This operation is done efficiently if the RDD has a known partitioner by only searching 阅读全文

posted @ 2017-07-12 10:47 bonelee 阅读(3210) 评论(0) 推荐(0)

python spark 求解最大最小平均

摘要： rdd = sc.parallelizeDoubles(testData); rdd = sc.parallelizeDoubles(testData); rdd = sc.parallelizeDoubles(testData); Now we’ll calculate the mean of o 阅读全文

posted @ 2017-07-12 10:15 bonelee 阅读(598) 评论(0) 推荐(0)

python spark 求解最大最小平均中位数

摘要：上面是粗暴的做法简单的做法：阅读全文

posted @ 2017-07-12 09:50 bonelee 阅读(1292) 评论(0) 推荐(0)

2017年7月11日

我的spark python 决策树实例

摘要： predictionsAndLabels = predictions.zip(testData.map(lambda lp: lp.label)) 阅读全文

posted @ 2017-07-11 16:44 bonelee 阅读(2262) 评论(0) 推荐(0)

python spark 随机森林入门demo

摘要： class pyspark.mllib.tree.RandomForest[source] Learning algorithm for a random forest model for classification or regression. New in version 1.2.0. New 阅读全文

posted @ 2017-07-11 14:48 bonelee 阅读(1637) 评论(0) 推荐(0)

将者，智、信、仁、勇、严也。

Hi，我是李智华，华为-安全AI算法专家，欢迎来到安全攻防对抗的有趣世界。

公告