hadoop - 随笔分类 - Daem0n

查看修复HDFS中丢失的块

摘要：查看上面某一个文件的情况解决方法参考 http://centoshowtos.org/hadoop/fix-corrupt-blocks-on-hdfs/ http://stackoverflow.com/questions/19205057/how-to-fix-corrupt-hadoop- 阅读全文

posted @ 2016-08-30 14:49 Daem0n 阅读(15475) 评论(0) 推荐(0)

dfs.replication、dfs.replication.min/max及dfs.safemode.threshold.pct

摘要：一、参数含义 dfs.replication：设置数据块应该被复制的份数； dfs.replication.min：所规定的数据块副本的最小份数； dfs.replication.max：所规定的数据块副本的最大份数； dfs.safemode.threshold.pct：指定应有多少比例的数据块满足最小副本数要求。 (1)当小于这个比例，那就将系统切换成安全模式，对数据块进行复制； (... 阅读全文

posted @ 2016-08-30 14:46 Daem0n 阅读(4437) 评论(0) 推荐(1)

HBase数据快速导入之ImportTsv&Bulkload

摘要：导入数据最快的方式，可以略过WAL直接生产底层HFile文件（环境：centos6.5、Hadoop2.6.0、HBase0.98.9） 1.SHELL方式 1.1 ImportTsv直接导入命令：bin/hbase org.apache.hadoop.hbase.mapreduce.Impor 阅读全文

posted @ 2016-04-14 11:16 Daem0n 阅读(15015) 评论(1) 推荐(2)

HDFS HA和Federaion

摘要：1.HA HA即为High Availability，用于解决NameNode单点故障问题，该特性通过热备的方式为主NameNode提供一个备用者，一旦主NameNode出现故障，可以迅速切换至备NameNode，从而实现不间断对外提供服务。在一个典型的HDFSHA场景中，通常由两个NameNod 阅读全文

posted @ 2016-04-11 15:28 Daem0n 阅读(655) 评论(0) 推荐(0)

Hadoop升级

摘要：1.停止所有MR任务 2.检查HDFS 3.重启HDFS，重复第2步，检查HDFS 4.备份namenode数据在本地磁盘备份重要的数据 5.停止HDFS 6.重新安装新版本hadoop，备份原来的配置文件，修改新版本的配置文件7.升级HDFS 8.监控升级 9.使用第2步中的命令，检查升级过后的阅读全文

posted @ 2015-04-26 23:15 Daem0n 阅读(384) 评论(0) 推荐(0)

Hadoop从2.2.0到2.7

摘要：

阅读全文

posted @ 2015-04-18 15:12 Daem0n 阅读(994) 评论(0) 推荐(0)

有趣的面试题

摘要：

阅读全文

posted @ 2015-03-16 14:46 Daem0n 阅读(688) 评论(0) 推荐(0)

MR中的combiner和partitioner

摘要：

阅读全文

posted @ 2015-03-10 15:39 Daem0n 阅读(1543) 评论(0) 推荐(0)

hadoop2 作业执行过程之reduce过程

摘要：

阅读全文

posted @ 2015-03-03 17:02 Daem0n 阅读(597) 评论(0) 推荐(0)

hadoop2 作业执行过程之map过程

摘要：

阅读全文

posted @ 2015-03-03 17:01 Daem0n 阅读(1414) 评论(0) 推荐(0)

hadoop2 作业执行过程之yarn调度执行

摘要：

阅读全文

posted @ 2015-03-03 16:59 Daem0n 阅读(4291) 评论(1) 推荐(0)

数据清洗

摘要：

阅读全文

posted @ 2015-02-27 13:08 Daem0n 阅读(968) 评论(0) 推荐(0)

hadoop2 作业执行过程之作业提交

摘要：

阅读全文

posted @ 2015-02-12 19:41 Daem0n 阅读(8476) 评论(0) 推荐(2)

MR 的 mapper 数量问题

摘要：

阅读全文

posted @ 2015-02-11 15:49 Daem0n 阅读(2582) 评论(0) 推荐(0)

琐碎-hadoop2.2.0-hbase0.96.0-hive0.13.1整合

摘要：关于hadoop和hive、hbase的整合就不说了，这里就是在hadoop2.2.0的环境下整合hbase和hive 因为hive0.12不支持hadoop2，所以还要替换一些hadoop的jar包，但是从0.13开始就方便多了环境:centos6.6-x64、jdk1.7、hadoop2.2. 阅读全文

posted @ 2014-12-12 12:05 Daem0n 阅读(472) 评论(0) 推荐(0)

琐碎-关于Windows调试hadoop

摘要：