随笔分类 -  Hadoop

【JAVA笔记——术】GetResource 实现方式
摘要：直接上代码System.out.println(ClassLoaderTest.class.getResource(""));System.out.println(ClassLoaderTest.class.getResource("/"));System.out.p... 阅读全文
posted @ 2016-06-13 11:33 写昵称不如写代码 阅读(141) 评论(0) 推荐(0)
私用 Hadoop BigTable
摘要：仅用作记录，过后分析 阅读全文
posted @ 2015-12-26 11:43 写昵称不如写代码 阅读(116) 评论(0) 推荐(0)
Hadoop学习笔记（十一）思维导图整理（附源文件）
摘要：在父亲生病的这几个月断断续续把《Hadoop实战》和《Hadoop权威指南》看了一遍，之前写的《Hadoop笔记》还有许多坑没填，有机会再填填坑。 之后思考一下学习的方向，看看自己究竟是往HDFS深究还是向算法方面发展，就像董西城老师博客中写到的，有时候学的太盲目就... 阅读全文
posted @ 2015-12-22 13:56 写昵称不如写代码 阅读(221) 评论(0) 推荐(0)
【JAVA笔记——道】泛型接口设计（未完成）
摘要：Hadoop设计模式–接口类泛型接口设计WritableComparator 相信大家都不会陌生，在MapReduce Shuffle中经常会被用到。因此摘自WritableComparator中Hadoop中优秀的设计模式，一方面好记星不如烂笔头，方便自用，一方面分... 阅读全文
posted @ 2015-12-20 10:29 写昵称不如写代码 阅读(137) 评论(0) 推荐(0)
Hadoop DataNode与DFSClient交互
摘要：dfs.datanode.shared.file.descriptor.paths /dev/shm,/tmp A comma-separated list of paths to use when creating file descriptors ... 阅读全文
posted @ 2015-12-02 10:25 写昵称不如写代码 阅读(216) 评论(0) 推荐(0)
HADOOP Unable to load native-hadoop library for your platform解决办法
摘要：最初在CentOS6.5 *64上部署hadoop2.6.0，在启动时提示 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using bu... 阅读全文
posted @ 2015-11-26 09:47 写昵称不如写代码 阅读(235) 评论(0) 推荐(0)
【JAVA笔记——道】Hadoop设计模式--抽象类
摘要：Hadoop设计模式–抽象类在过去我们进行类的衍生中，使用的比较多的是接口。 接口的自由性和拓展性都是接口的比较重要的优势，因为耦合性的关系，我们都在尽量避免继承，但无可否认，抽象类在一定情况下同样拥有良好的使用效果。正如《JAVA编程思想》所述，每一个JAVA的特性... 阅读全文
posted @ 2015-11-20 17:45 写昵称不如写代码 阅读(202) 评论(0) 推荐(0)
Hadoop HDFS copyMergeFromLocal
摘要：在谈到HDFS优化中，其中HDFS擅长处理大文件，而对于小文件常用的优化策略有压缩合并。在此列举小文件合并工具类供参考。/*** Get all the files in the directories that match the source file patte... 阅读全文
posted @ 2015-10-24 22:49 写昵称不如写代码 阅读(460) 评论(0) 推荐(0)
Hadoop学习笔记（九）HDFS架构分析
摘要：HDFS设计目标巨大的分布式文件系统:10PB以上，万个以上节点运行于普通硬件：文件多重备份，探测失败和错误恢复优化批处理：数据暴漏位置，以便计算能够挪到数据附近；提供高举和的带宽用户控件可以位于异构的操作系统中在整个集群中使用单一的命名空间数据一致性：写入一次读取多... 阅读全文
posted @ 2015-10-17 20:37 写昵称不如写代码 阅读(130) 评论(0) 推荐(0)
Hadoop学习笔记（八）MapReduce深入分析
摘要：MapReduce深入分析Hadoop中MapReduce提供的主要是离线端的数据分析。根据其原理，可以将其分为两个阶段 1. Map 2. Reduce阶段Hadoop在MapReduce设计方面主要有两个重要思想：化整为零，分而治之。数据加工终端化。数据在终端加工... 阅读全文
posted @ 2015-10-15 15:17 写昵称不如写代码 阅读(212) 评论(0) 推荐(0)
Hadoop学习笔记（六）启动Shell分析
摘要：Hadoop启动Shell分析启动顺序使用$HADOOP_HOME/start-all.sh启动Hadoop守护进程Warning: $HADOOP_HOME is deprecated.starting namenode, logging to /opt/modul... 阅读全文
posted @ 2015-10-03 22:44 写昵称不如写代码 阅读(116) 评论(0) 推荐(0)
Hadoop学习笔记（五）日志系统
摘要：Hadoop日志Hadoop目录保存在$HADOOP_HOME/logsHadoop日志格式Hadoop日志存在两种格式log 通过log4j日志记录格式进行记录的,$HADOOP_HOME/conf/log4.propertiesj进行配置。采用日常滚动文件后缀策略... 阅读全文
posted @ 2015-10-02 14:11 写昵称不如写代码 阅读(140) 评论(0) 推荐(0)
Hadoop学习笔记（四）Hadoop伪分布式配置
摘要：Hadoop配置文档（二）这一篇是介绍Hadoop伪分布式的配置中的Hadoop的配置。第一部分是Hadoop1.0配置，第二部分是Hadoop2.0的配置，大家可以自己选择查看。 Linux配置可以查看 Hadoop学习笔记（三）Linux环境配置Hadoop1... 阅读全文
posted @ 2015-10-02 13:34 写昵称不如写代码 阅读(113) 评论(0) 推荐(0)
Hadoop学习笔记（三）Linux环境配置
摘要：Hadoop配置文档（一）下载安装下载jdk-7u80-linux-x64.tar.gz sudo tar -xvf jdk-7u80-linux-x64.tar.gz -C /opt/modules/下载hadoop-1.2.1-bin.tar.gz sudo ta... 阅读全文
posted @ 2015-10-01 21:26 写昵称不如写代码 阅读(133) 评论(0) 推荐(0)
Hadoop学习笔记（二）浅谈Hadoop守护进程
摘要：Hadoop初学笔记（二）浅谈Hadoop守护进程对于分布式系统架构来说，一般而言分成两个部分：管理层，用于对应用层的管理应用层，用于任务的执行在Hadoop中，主要的后台守护进程包括：NameNode元数据服务器主节点，存储文件的元数据（文件名，文件目录结构，文件属... 阅读全文
posted @ 2015-09-22 15:43 写昵称不如写代码 阅读(141) 评论(0) 推荐(0)
Hadoop学习笔记（一）
摘要：Hadoop初识Hadoop特性apache旗下顶级开源项目之一主要用于解决海量数据下的 存储、分析主要优势有：高可靠性高扩展性高效性高容错性其中MapReduce和HDFS（Hadoop Distribute File System)是Hadoop核心MapRedu... 阅读全文
posted @ 2015-09-22 13:53 写昵称不如写代码 阅读(124) 评论(0) 推荐(0)