摘要：map: (K1, V1) → list(K2, V2)reduce: (K2, list(V2)) → list(K3, V3)(K1, V1):jobConf.setInputKeyClass(K1. class );jobConf.setInputValueClass(V1. class );list(K2, V2):job.setMapOutputKeyClass(K2.class);job.setMapOutputValueClass(V2.class); list(K3, V3):jobConf.setOutputKeyClass(K3. class );jobConf.setOu 阅读全文

摘要：1、气候监测数据集http://cdiac.ornl.gov/ftp/ndp026b2、几个实用的测试数据集下载的网站http://www.fs.fed.us/fire/fuelman/http://www.cs.toronto.edu/~roweis/data.htmlhttp://www.cs.toronto.edu/~roweis/data.htmlhttp://kdd.ics.uci.edu/summary.task.type.htmlhttp://www-2.cs.cmu.edu/afs/cs.cmu.edu/project/theo-20/www/data/http://www-2 阅读全文

摘要：开机因sendmail过慢，可通过：chkconfig --level 35 sendmail off关掉开机总动启动1. 准备hbase-0.90.3-cdh3u1hadoop-0.20.2从Cloudera官网下载，这里注意尽量使用cdh一套的hbase和hadoop 而不要杂用。这里没办法了，不想重新配置2. 服务器master：masterslaves：master，slave13. 配置文件hbase-site.xml<configuration> <property> <name>hbase.rootdir</name> <va 阅读全文

摘要：参考官网，分析源码1. 网页给出了如何应用开发PFP-Growth的过程https://cwiki.apache.org/confluence/display/MAHOUT/Parallel+Frequent+Pattern+Mining但是易发现将其代码复制过去不能运行。原因有： 1.1 相应包没有加进去，加的必备包有：Mahout，Hadoop，Hbase。运行过程中会缺什么包，这是找到相应包加进去即可，这是一个折磨人的过程，因为不知道需要的类是包含在哪个包里面，但是一般都有启发式寻找思路。首先确定是在Mahout，还是在Hadoop下找？然后打开可能的包看下是否包含需要的类。例如本项目中 阅读全文

摘要：配置：maven：下载，配置，用于在Mahout目录mvn install 编译mahouteclipse：导入jars，编译测试例子hadoop：分布式Mahout：下载，配置 /etc/profile推荐系统实例：1. 新建Java工程，新建Class Test2. 参考：http://blog.csdn.net/aidayei/article/details/6626699package org.apache.mahout.fpm.pfpgrowth;import org.apache.mahout.cf.taste.impl.model.file.*;import org.apache 阅读全文