摘要： 前记由于是在一台用了很久的机器上安装caffe，过程比较复杂，网上说再干净的机器上装比较简单。如果能有干净的机器，就不用再过这么多坑了，希望大家好运！介绍这里就不说了，直接进入正题：Caffe 主页http://caffe.berkeleyvision.org/github主页https://git... 阅读全文

摘要： 本项目为maven项目，需要添加必要的storm库，以及kafka依赖，使用storm自带的storm-kafka进行连接，根据自己集群环境 org.apache.storm storm-core 0.9.3 org.apache.kafka kafka_2.10 ... 阅读全文

摘要： 1. logistic回归模型1.1 Logsitic分布设X是服从logistic分布的连续随即变量，则X的分布函数和密度函数如下： \( F(x)=P(x \le x)=\displaystyle\frac{1}{1+e^{-(x-\mu)/\gamma}} \) \( f(... 阅读全文

摘要： MLlib支持二分类，多酚类和回归分析的多种方法，具体如下：问题类别 支持方法二分类线性支持向量机， 逻辑回归，决策树，朴素贝叶斯多分类决策树，朴素贝叶斯回归线性最小二乘，Lasso，ridge regression， 决策树线性模型二分类（支持向量机， 逻辑回归）线性回归（最小二乘，Lasso，... 阅读全文

摘要： 聚类例子流聚类例子聚类MLlib支持k-means聚类，一种最常用的聚类方法，将数据点聚成指定数据的簇。MLlib实现了一种k-means++的并行变种，叫做kmeansII。MLlib的实现包括以下参数：k 设定的聚类数目maxIterations 最大循环册数initializationMod... 阅读全文

摘要： 近期开始研究学习spark，开发环境有多种，由于习惯使用STS的maven项目，但是按照许多资料的方法尝试以后并没有成功，也可能是我环境问题；也可以是用scala中自带的eclipse，但是不太习惯，听说支持也不太好，好多问题；咨询一些人后说，IDEA对scala的支持比较好。所以尝试使用IDE... 阅读全文

摘要： 协同过滤显示vs隐式反馈参数调整实例教程协同过滤协同过滤是推荐系统的常用方法。可以填充user-item相关矩阵中的缺失值。MLlib支持基于模型的协同过滤，即使用能够预测缺失值的一个隐藏因素集合来表示用户和产品。MLlib使用交替做小二乘法（alternating least squares, A... 阅读全文

摘要： 本文来自http://spark.apache.org/docs/latest/mllib-guide.html官方文档翻译 个人翻译MLlib包括的算法和工具主要有：分类，回归，聚类，协同过滤，降维，和底层优化原语：数据类型基本统计总和统计相关性分层抽样假设检验随机数生成分类和回归线性模型（SVM... 阅读全文

摘要： 在实际的项目中，需要storm从metaq中读取数据，一开始就有日志问题，查到是storm/lib中的log4j-over-slf4j和slf4j-api.jar包的不兼容导致的，这些日志包使用时必须版本一致，只有又产生了java.lang.IncompatibleClassChangeError:... 阅读全文

摘要： storm因机器断电或其他异常导致的supervisor意外终止，再次启动时报错： 1. 2013-09-24 09:15:44,361 INFO [main] daemon.supervisor (NO_SOURCE_FILE:invoke(0)) - Starting superviso... 阅读全文