随笔分类 -  hadoop

hdfs mapreduce hbash hive pig impala trafodion
Zookeeper 启动错误
摘要：启动后日志如下 ： 2016-09-14 05:51:19,449 [myid:1] - INFO [QuorumPeer[myid=1]/0:0:0:0:0:0:0:0:2181:FastLeaderElection@852] - Notification time out: 128002016- 阅读全文
posted @ 2016-09-14 14:02 Eamon13 阅读(3307) 评论(1) 推荐(0)
数据结构 B树 B+树 B*树 LSM-树
摘要：从B树、B+树、B*树谈到R 树 http://blog.csdn.net/v_JULY_v/article/details/6530142/ B-tree、B+tree和LSM-tree http://blog.csdn.net/kingzone_2008/article/details/8501 阅读全文
posted @ 2016-08-31 13:30 Eamon13 阅读(237) 评论(0) 推荐(0)
关于 HIVE Beeline 问题
摘要：1 启动 hiveserver2 服务，启动 beeline -u jdbc:hive2:// 正常 ，启动 beeline -u jdbc:hive2://127.0.0.1:10000 包如下错误 Error: Failed to open new session: java.lang.Runt 阅读全文
posted @ 2016-08-19 13:58 Eamon13 阅读(12320) 评论(0) 推荐(0)
HIVE 简单总结
摘要：hive 1 table 查看 表show tables;查看表结构desc table_name; 2 database 默认 default 创建databasecreate database_name;查看 databaseshow databases;使用 databaseuse datab 阅读全文
posted @ 2016-08-17 16:47 Eamon13 阅读(297) 评论(0) 推荐(0)
值得一提：关于 HDFS 的 file size 和 block size
摘要：转 http://blog.csdn.net/samhacker/article/details/23089157?utm_source=tuicool&utm_medium=referral 一个常被问到的一个问题是： 如果一个HDFS上的文件大小(file size) 小于块大小(block s 阅读全文
posted @ 2016-08-11 11:08 Eamon13 阅读(3420) 评论(0) 推荐(0)
Hadoop作业优化
摘要：mapper数量 reduce数量 combiner 中间值压缩 自定义序列 调整shuffle,减少溢出写 关闭推测执行 任务JVM重用 慢启动reduce 阅读全文
posted @ 2016-08-11 08:34 Eamon13 阅读(210) 评论(0) 推荐(0)
dfs.replication 参数 动态修改
摘要：首先 dfs.replication这个参数是个client参数，即node level参数。需要在每台datanode上设置。其实默认为3个副本已经够用了，设置太多也没什么用。 一个文件，上传到hdfs上时指定的是几个副本就是几个。以后你修改了副本数，对已经上传了的文件也不会起作用。可以再上传文件 阅读全文
posted @ 2016-08-09 11:40 Eamon13 阅读(1818) 评论(0) 推荐(0)
Hadoop YARN ERROR 1/1 local-dirs are bad *， 1/1 log-dirs are bad *
摘要：转 http://blog.csdn.net/u012303571/article/details/46913471 查看 nodemanager 日志发下 如下信息 2015-07-16 15:28:58,643 WARN org.apache.hadoop.yarn.server.nodeman 阅读全文
posted @ 2016-08-09 10:25 Eamon13 阅读(3016) 评论(0) 推荐(0)
Hadoop 中关于 map，reduce 数量设置
摘要：map和reduce是hadoop的核心功能，hadoop正是通过多个map和reduce的并行运行来实现任务的分布式并行计算，从这个观点来看，如果将map和reduce的数量设置为1，那么用户的任务就没有并行执行，但是map和reduce的数量也不能过多，数量过多虽然可以提高任务并行度，但是太多的 阅读全文
posted @ 2016-08-01 15:51 Eamon13 阅读(741) 评论(0) 推荐(0)
CentOS 7 rsync
摘要：CentOS 7 rsync 1）软件简介 Rsync 是一个远程数据同步工具，可通过 LAN/WAN 快速同步多台主机间的文件。Rsync 本来是用以取代rcp 的一个工具，它当前由 Rsync.samba.org 维护。Rsync 使用所谓的“Rsync 演算法”来使本地和远程两个主机之间的文件 阅读全文
posted @ 2016-08-01 10:42 Eamon13 阅读(3928) 评论(2) 推荐(0)
Eclipse 安装 HDFS 插件
摘要：Eclipse 安装 hdfs 连接插件 1.插件安装 在$HADOOP_HOME/contrib/eclipse-plugin/文件夹中有个hadoop-eclipse-plugin-0.20.203.0.jar，把这个文件复制到eclipse/plugins（这是eclipse的插件目录）下面即 阅读全文
posted @ 2016-07-14 15:50 Eamon13 阅读(1314) 评论(0) 推荐(0)
Hadoop2.6.0 动态增加节点
摘要：本文主要从基础准备，添加DataNode和添加NodeManager三个部分详细说明在Hadoop2.6.0环境下，如何动态新增节点到集群中。 基础准备 基础准备 基础准备 在基础准备部分，主要是设置hadoop运行的系统环境 修改系统hostname（通过hostname和/etc/sysconf 阅读全文
posted @ 2016-06-02 09:06 Eamon13 阅读(273) 评论(0) 推荐(0)
hdfs 常用命令
摘要：hadoop fs hadoop fs -ls / hadoop fs -lsr hadoop fs -du / hadoop fs -mkdir /user/hadoop hadoop fs -put a.txt /user/hadoop/ hadoop fs -get /user/hadoop/ 阅读全文
posted @ 2016-05-27 11:38 Eamon13 阅读(326) 评论(0) 推荐(0)