随笔分类 -  Hadoop

摘要：Flume（一）Flume原理解析 阅读目录(Content) 一、Flume简介 二、Flume特点 三、Flume的一些核心概念 3.1、Agent结构 3.2、source 3.3、Channel 3.4、Sink 四、Flume拦截器、数据流以及可靠性 4.1、Flume拦截器 4.2、Fl 阅读全文

摘要：故障一：某个datanode节点无法启动 我是以用户名centos安装和搭建了一个测试用的hadoop集群环境，也配置好了有关的权限，所有者、所属组都配成centos:centos 【故障现象】 名称节点的3个进程都起来了，但是其中一个数据节点的DataNode进程没启动，就是说在该数据节点上通过j 阅读全文

摘要：为更好了解各种故障，可以修改数据块的大小和提升NameNode的日志级别 [html] view plain copy <property> <name>dfs.block.size</name> <value>4194304</value> </property> <property> <name 阅读全文

摘要：Hadoop MapReduce性能优化影响MapReduce输入数据处理时间的因素很多。其中之一是实现map和reduce函数时使用的算法。其他外部因素也可能影响MapReduce性能。根据我们的经验和观察，可能影响MapReduce的主要因素有以下几个。 硬件（或者资源）因素，如CPU时钟、磁盘 阅读全文

摘要：Hadoop小文件存储方案 HDFS总体架构 在介绍文件存储方案之前，我觉得有必要先介绍下关于HDFS存储架构方面的一些知识，在对架构有初步了解后，才会明白为什么要单独针对小文件展开介绍，小文件存储和其它文件存储区别在什么地方。 这里我只是就Hadoop生态中的存储层展开介绍，对于其它部分本文暂未描 阅读全文

摘要：************************************************************************************************************ 1. HDFS上的小文件问题 小文件是指文件大小明显小于HDFS上块（block） 阅读全文