随笔分类 -  Hadoop

Cloudera Manager 5和CDH5离线安装
摘要：CDH (Cloudera's Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。Cloudera Manager则是为了便于在集群... 阅读全文
posted @ 2015-05-27 13:40 liushaobo 阅读(2416) 评论(4) 推荐(0)
KMeans聚类算法Hadoop实现
摘要：Assistance.java 辅助类，功能详见注释package KMeans;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.h... 阅读全文
posted @ 2014-04-17 21:12 liushaobo 阅读(318) 评论(0) 推荐(0)
hadoop 学习笔记：mapreduce框架详解
摘要：转自http://www.cnblogs.com/sharpxiajun/p/3151395.html开始聊mapreduce，mapreduce是hadoop的计算框架，我学hadoop是从hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可... 阅读全文
posted @ 2014-04-04 09:57 liushaobo 阅读(177) 评论(0) 推荐(0)
Hadoop示例程序WordCount编译运行
摘要：首先确保Hadoop已正确安装及运行。将WordCount.java拷贝出来$ cp ./src/examples/org/apache/hadoop/examples/WordCount.java /home/hadoop/在当前目录下创建一个存放WordCount.class的文件夹$ mkdi... 阅读全文
posted @ 2014-03-26 11:44 liushaobo 阅读(312) 评论(0) 推荐(0)