文章分类 -  hadoop-mahout

摘要：mahout svn仓库地址：http://svn.apache.org/repos/asf/mahout/trunkmovie length 数据地址：http://www.grouplens.org/system/files/ml-100k.zip1. mahout简介The Apache Mahout™ machine learning library's goal is to build scalable machine learning libraries.ClassificationLogistic Regression(SGD)BayesianSupport Vector 阅读全文

摘要：Taste 是 Apache Mahout 提供的一个协同过滤算法的高效实现，它是一个基于Java实现的可扩展的高效的推荐引擎。扩展性是指使用hadoop进行mapreduce计算，提高运算性能。 最近开始看源码，分析一下，做个笔记。 ItemSimilarityJob类是mahout使用hadoop做推荐引擎的主要实现类，下面开始分析。run()函数是启动函数：public final class RecommenderJob extends AbstractJob { public static final String BOOLEAN_DATA = "booleanData&q 阅读全文

摘要：Mahout支持2种 M/R 的jobs实现itemBase的协同过滤 I.ItemSimilarityJob II.RecommenderJob下面我们对RecommenderJob进行分析，版本是mahout-distribution-0.7源码包位置：org.apache.mahout.cf.taste.hadoop.item.RecommenderJobRecommenderJob前几个阶段和ItemSimilarityJob是一样的，不过ItemSimilarityJob 计算出item的相似度矩阵就结束了，而RecommenderJob 会继续使用相似度矩阵，对每个user计算出应 阅读全文

摘要：mahout中有许多分类器，包括Naive Bayes, Complementary Naive Bayes, Stochastic Gradient Descent, Support Vector Machine, Random Forest等。评估一个分类器（模型）的好坏，需要有一些指标，而在mahout中提供了下列衡量指标：1. %-correct (ConfusionMatrix类)最简单的，即正确分类的比率2. Confusion matrix (ConfusionMatrix类)通常是一个两行两列的矩阵，数据如下：[ # of true positives, # of false. 阅读全文

摘要：Apache Mahout 是 ApacheSoftware Foundation (ASF) 旗下的一个开源项目，提供一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序，并且，在 Mahout 的最近版本中还加入了对Apache Hadoop 的支持，使这些算法可以更高效的运行在云计算环境中。在Mahout实现的机器学习算法见下表：算法类算法名中文名分类算法Logistic Regression逻辑回归Bayesian贝叶斯SVM支持向量机Perceptron感知器算法Neural Network神经网络Random Forests随机森林Restrict 阅读全文