随笔分类 -  hadoop

hadoop的学习
MapReduce架构
摘要：主从结构 主节点：JobTracker（一个） 从节点：TaskTrackers（多个）JobTracker： 接收客户提交的计算任务 把计算任务分配给TaskTrackers执行 监控TaskTracker执行情况TaskTrackers： 执行JobTracker分配的计算任务Map... 阅读全文
posted @ 2015-07-05 03:41 csnmd 阅读(324) 评论(0) 推荐(0)
HDFS架构
摘要：HDFS是Hadoop存储数据的架构分为主从节点主节点：namenode（一个）从节点：datanodes（多个）namenode：接收用户操作请求、维护文件系统的目录结构、管理文件与block之间的关系，block与datanode之间的关系datanode：存储文件、文件被分成多个block存储... 阅读全文
posted @ 2015-07-05 03:38 csnmd 阅读(282) 评论(0) 推荐(0)
使用hadoop统计多个文本中每个单词数目
摘要：程序源码 1 import java.io.IOException; 2 import java.util.StringTokenizer; 3 import org.apache.hadoop.conf.Configuration; 4 import org.apache.hadoop.fs.Pa... 阅读全文
posted @ 2015-06-27 21:37 csnmd 阅读(2391) 评论(0) 推荐(0)
hadoop环境搭建
摘要：伪分布式环境搭建1 下载解压配置hadoophadoop-env.sh export JAVA_HOME=/opt/JDK/jdk1.8.0_45hdfs-site.xml dfs.data.dir /hadoop/data ... 阅读全文
posted @ 2015-06-27 15:23 csnmd 阅读(199) 评论(0) 推荐(0)