bonelee - 博客园

2017年7月24日

摘要：官方的demo 带归一化的例子：参考：https://stackoverflow.com/questions/31447141/spark-mllib-kmeans-from-dataframe-and-back-again Create column from RDD It's very eas 阅读全文

posted @ 2017-07-24 15:20 bonelee 阅读(2927) 评论(0) 推荐(0)

百度开源其NLP主题模型工具包，文本分类等场景可直接使用L——LDA进行主题选择本质就是降维，然后用于推荐或者分类

摘要： 2017年7月4日，百度开源了一款主题模型项目，名曰：Familia。 InfoQ记者第一时间联系到百度Familia项目负责人姜迪并对他进行采访，在本文中，他将为我们解析Familia项目的技术细节。什么是Familia Familia 开源项目包含文档主题推断工具、语义匹配计算工具以及基于工业阅读全文

posted @ 2017-07-24 11:13 bonelee 阅读(3003) 评论(0) 推荐(0)

谷歌开源可视化工具Facets，将用于人+AI协作项目研究——无非就是一个用于特征工程探索的绘图工具集，pandas可以做的

摘要：见：http://www.infoq.com/cn/news/2017/07/goole-sight-facets-ai https://github.com/PAIR-code/facets/blob/master/facets_dive/README.md Introduction The fa 阅读全文

posted @ 2017-07-24 10:57 bonelee 阅读(662) 评论(0) 推荐(0)

机器学习案例特征组合——高帅富冷启动——从微博等其他渠道搜集数据进行机器学习用户年龄——线性分段处理

摘要：摘自：http://www.infoq.com/cn/articles/user-portrait-collaborative-filtering-for-recommend-systems 我们会从一个真实的案例出发，虽然我们做了很多的推荐系统的案例，但毕竟不能把客户的数据给大家看，所以我们用了一阅读全文

posted @ 2017-07-24 10:01 bonelee 阅读(1414) 评论(0) 推荐(0)

2017年7月21日

pyspark MLlib踩坑之model predict+rdd map zip，zip使用尤其注意啊啊啊！

摘要： Updated:use model broadcast, mappartition+flatmap,see: see: https://gist.github.com/lucidfrontier45/591be3eb78557d1844ca 一开始是因为没法直接在pyspark里使用map 来做mo 阅读全文

posted @ 2017-07-21 16:12 bonelee 阅读(3056) 评论(5) 推荐(0)

高斯混合模型Gaussian Mixture Model (GMM)——通过增加 Model 的个数，我们可以任意地逼近任何连续的概率密分布

摘要：从几何上讲，单高斯分布模型在二维空间应该近似于椭圆，在三维空间上近似于椭球。遗憾的是在很多分类问题中，属于同一类别的样本点并不满足“椭圆”分布的特性。这就引入了高斯混合模型。——可以认为是基本假设！高斯混合模型Gaussian Mixture Model (GMM) 摘自：http://www.i 阅读全文

posted @ 2017-07-21 09:40 bonelee 阅读(11166) 评论(0) 推荐(0)

2017年7月19日

随机森林算法demo python spark

摘要：关键参数最重要的，常常需要调试以提高算法效果的有两个参数：numTrees，maxDepth。 numTrees（决策树的个数）：增加决策树的个数会降低预测结果的方差，这样在测试时会有更高的accuracy。训练时间大致与numTrees呈线性增长关系。 maxDepth：是指森林中每一棵决策树最阅读全文

posted @ 2017-07-19 09:46 bonelee 阅读(2262) 评论(0) 推荐(0)

spark 随机森林算法案例实战

摘要：随机森林算法由多个决策树构成的森林，算法分类结果由这些决策树投票得到，决策树在生成的过程当中分别在行方向和列方向上添加随机过程，行方向上构建决策树时采用放回抽样（bootstraping）得到训练数据，列方向上采用无放回随机抽样得到特征子集，并据此得到其最优切分点，这便是随机森林算法的基本原理。图阅读全文

posted @ 2017-07-19 09:18 bonelee 阅读(9035) 评论(0) 推荐(0)

2017年7月18日

AngularJS 下拉列表demo

摘要：你选择了：{{selectedName}} 点我！该实例演示了 ng-options 指令的使用。阅读全文

posted @ 2017-07-18 19:10 bonelee 阅读(293) 评论(0) 推荐(0)

机器学习案例学习【每周一例】之 Titanic: Machine Learning from Disaster

摘要：下面一文章就总结几点关键： 1、要学会观察，尤其是输入数据的特征提取时，看各输入数据和输出的关系，用绘图看！ 2、训练后，看测试数据和训练数据误差，确定是否过拟合还是欠拟合； 3、欠拟合的话，说明模型不准确或者特征提取不够，对于特征提取不够问题，可以根据模型的反馈来看其和数据的相关性，如果相关系数是阅读全文

posted @ 2017-07-18 09:00 bonelee 阅读(1401) 评论(1) 推荐(0)

将者，智、信、仁、勇、严也。

Hi，我是李智华，华为-安全AI算法专家，欢迎来到安全攻防对抗的有趣世界。

公告