随笔分类 -  Hadoop

Hadoop相关文档，代码，探究
Centos7编译Hadoop-2.7.5遇到的坑
摘要：1、下载源码 地址：http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.5/hadoop-2.7.5-src.tar.gz2、 解压缩 tar zxvf hadoop*.src.tar.gz -C 指定解压目录 3、用IDEA打开，由 阅读全文
posted @ 2018-03-13 21:36 AlgorithmInit 阅读(1032) 评论(0) 推荐(0)
填坑之路——Hadoop分布式缓存
摘要：一、概念介绍 1、分布式缓存的理解：Hadoop为MapReduce框架提供的一种分布式缓存机制，它会将需要缓存的文件分发到各个执行任务的子节点的机器中，各个节点可以自行读取本地文件系统上的数据进行处理。 2、符号连接：在原本HDFS文件路径上加”#filename”来设置符号连接（这样写新API会 阅读全文
posted @ 2017-11-23 12:08 AlgorithmInit 阅读(4187) 评论(0) 推荐(0)
ForkJoin框架使用逻辑
摘要：public class ForkJoinLogic extends RecursiveTask { private int interval; private int start; private int end; private String tableName; //实现业务逻辑的成员变量 public ForkJoinLogic(int ... 阅读全文
posted @ 2017-05-12 14:50 AlgorithmInit 阅读(182) 评论(0) 推荐(0)
flume-hdfs sinks报错
摘要：flume，HDFS sinks 阅读全文
posted @ 2016-08-24 11:45 AlgorithmInit 阅读(311) 评论(0) 推荐(0)