Riordon - 博客园

常见maven镜像

摘要：国内连接maven官方的仓库更新依赖库，网速一般很慢，收集一些国内快速的maven仓库镜像以备用。 ====================国内OSChina提供的镜像，非常不错=================== CN OSChina Central http://maven.oschina.n 阅读全文

posted @ 2016-07-26 20:40 Riordon 阅读(314) 评论(0) 推荐(0)

Spark集群搭建简要

摘要： Spark集群搭建 1 Spark编译 1.1 下载源代码 git clone git://github.com/apache/spark.git b branch 1.6 1.2 修改pom文件增加cdh5.0.2相关profile,如下： cdh5.0.2 2.3.0 cdh5.0.2 0.9 阅读全文

posted @ 2016-07-14 13:54 Riordon 阅读(1131) 评论(0) 推荐(0)

文章汇总

摘要： [1] hadoop源码编译 [2] hadoop压缩配置 [3] hbase性能调优之压缩测试阅读全文

posted @ 2015-11-06 18:03 Riordon 阅读(140) 评论(0) 推荐(0)

hbase性能调优之压缩测试

摘要：文章概述：1、顺序写2、顺序读3、随机写4、随机读5、SCAN数据0 性能测试工具hbase org.apache.hadoop.hbase.PerformanceEvaluationUsage: java org.apache.hadoop.hbase.PerformanceEvaluation ... 阅读全文

posted @ 2015-11-06 17:55 Riordon 阅读(1712) 评论(0) 推荐(0)

hadoop压缩配置

摘要：为何要使用压缩，压缩可以是文件的大小减小很多，节省空间；另外压缩后的文件在传输时更节省带宽。所需软件：1）lzo2）hadoop-lzo3）maven安装编译：1）lzowgethttp://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar... 阅读全文

posted @ 2015-11-06 11:40 Riordon 阅读(2017) 评论(0) 推荐(0)

hadoop源码编译

摘要：为何要自行编译hadoop源码，往往是由于官方提供的hadoop发行版都是基于32位操作系统，在操作hadoop时会发生warn。准备软件：1）JDK2）Hadoop源码3）Maven4）Protobuf编译小结：1）JDK安装(略)2）必要依赖安装 sudo yum install -y g++... 阅读全文

posted @ 2015-11-05 16:33 Riordon 阅读(385) 评论(0) 推荐(0)

学习笔记：The Log（我所读过的最好的一篇分布式技术文章）

摘要： http://www.cnblogs.com/foreach-break/p/notes_about_distributed_system_and_The_log.html 阅读全文

posted @ 2015-08-14 10:00 Riordon 阅读(235) 评论(0) 推荐(0)

Eclipse远程提交hadoop集群任务

摘要：文章概览：1、前言2、Eclipse查看远程hadoop集群文件3、Eclipse提交远程hadoop集群任务4、小结1 前言 Hadoop高可用品台搭建完备后，参见《Hadoop高可用平台搭建》，下一步是在集群上跑任务，本文主要讲述Eclipse远程提交hadoop集群任务。2Eclipse查看... 阅读全文

posted @ 2015-08-10 11:48 Riordon 阅读(7505) 评论(0) 推荐(1)

core-site.xml配置项：hadoop.tmp.dir

摘要： hadoop.tmp.dir：A base for other temporary directories.集群运行后，修改该配置项后，发现类似错误：2012-10-12 10:06:54,804 INFO org.apache.hadoop.hdfs.server.common.Storage: ... 阅读全文

posted @ 2015-08-08 08:49 Riordon 阅读(1837) 评论(0) 推荐(0)

编译hadoop插件

摘要： http://my.oschina.net/muou/blog/408543http://www.cnblogs.com/huligong1234/p/4137133.html 阅读全文

posted @ 2015-08-07 20:40 Riordon 阅读(212) 评论(0) 推荐(0)

Hadoop高可用平台搭建

摘要：文章概览：1、机器规划和预配置2、软件安装3、集群文件配置4、启动集群5、HA验证6、注意事项7、小结机器规划和预配置主机/进程NNDNRMNMZK(QP)ZKFCJNnna√√√√nns√√√√dn1√√√√dn2√√√dn3√√√软件安装所需工具：虚拟机CentOS-6.5，JDK-1.8，Ha... 阅读全文

posted @ 2015-08-05 12:36 Riordon 阅读(3135) 评论(0) 推荐(3)

NameNode HA配置详解

摘要： http://blog.debugo.com/namenode-ha/ 阅读全文

posted @ 2015-04-17 14:34 Riordon 阅读(264) 评论(0) 推荐(0)

使用Sqoop将HDFS/Hive/HBase与MySQL/Oracle中的数据相互导入、导出

摘要： http://blog.csdn.net/iloveyin/article/details/38235211 阅读全文

posted @ 2015-04-17 14:12 Riordon 阅读(244) 评论(0) 推荐(0)

hadoop、hbase、hive、zookeeper版本对应关系

摘要： http://www.aboutyun.com/blog-61-62.html 阅读全文

posted @ 2015-04-16 10:17 Riordon 阅读(521) 评论(0) 推荐(0)

hadoop高可用集群搭建小结

摘要： hadoop高可用集群搭建小结1、Zookeeper集群搭建2、格式化Zookeeper集群（注：在Zookeeper集群建立hadoop-ha，amenode的元数据)3、开启Journalmnode集群（注：两个NameNode为了数据同步，会通过一组称作JournalNodes的独立进程进行... 阅读全文

posted @ 2015-04-16 10:06 Riordon 阅读(430) 评论(0) 推荐(0)