随笔分类 -  Hadoop相关

Hadoop的包的功能分析
摘要：hadoop源码中有很多package，以下对比较重要的package进行说明： package 说明 tool 提供命令行工具，入distcp（集群间复制数据）、archive（打包归档） mapreduce Map/Reduce实现 filecache 提供hdfs的本地缓存，提高读取速度 fs 抽象文件系统，提供统一访问接口 hdfs 分布式文件系统实现 ipc 节点间通信 io ... 阅读全文
posted @ 2012-09-26 20:16 晓锋童鞋 阅读(216) 评论(0) 推荐(0)
从hadoop-0.20.2升级到hadoop-1.0.3
摘要：由于要支持hbase0.92.0的一些新特性，需要对现有的hadoop进行升级。升级流程如下： 1、关闭Hbase、Hive service、关闭hadoop集群； 2、执行hadoop dfsadmin -upgradeProgress status，显示There are no upgrades in progress，表示当前没有升级动作； 3、执行hadoop fs -lsr > /usr/local/cluster/namenode.log，执行hadoop fsck / > /usr/local/cluster/fsck.log；生成这个两个文件进行集群升级前后的对比工 阅读全文
posted @ 2012-09-13 21:09 晓锋童鞋 阅读(276) 评论(0) 推荐(0)