摘要: What is Hue Hue architecture Install and configure Hue on hadoop Tips for some common issues 1. What is Hue Hue is one of Hadoop’s most important proj 阅读全文
posted @ 2017-07-19 12:14 Kinginme 阅读(859) 评论(0) 推荐(0) 编辑
摘要: 参考:http://www.cnblogs.com/ggjucheng/archive/2013/01/03/2842860.html 在做Shuffle阶段的优化过程中,遇到了数据倾斜的问题,造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和,优 阅读全文
posted @ 2017-06-23 16:37 Kinginme 阅读(5718) 评论(0) 推荐(0) 编辑
摘要: 参考:http://www.jianshu.com/p/5d292a9a8c86# Secondary NameNode:它究竟有什么作用? 在Hadoop中,有一些命名不好的模块,Secondary NameNode是其中之一。从它的名字上看,它给人的感觉就像是NameNode的备份。但它实际上却 阅读全文
posted @ 2017-06-23 10:40 Kinginme 阅读(413) 评论(0) 推荐(0) 编辑
摘要: (1) HDFS主要是用于做什么的? HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获 阅读全文
posted @ 2017-06-23 10:37 Kinginme 阅读(271) 评论(0) 推荐(0) 编辑
摘要: 1.关于内部表和外部表 表(内部表)数据存放在统一的/user/hive/warehouse目录下; drop表时会将表的数据及表的元信息全部清空。 示例代码如下: 1 CREATE TABLE page_view(viewTime INT, userid BIGINT, 2 page_url ST 阅读全文
posted @ 2017-06-21 15:08 Kinginme 阅读(642) 评论(0) 推荐(0) 编辑
摘要: 1.关于zookeeper zookeeper 是一个用来进行分布式协调的服务,这些服务包括配置服务,维护元信息和命名空间服务。 zookeeper是如何选取主leader的? 当leader崩溃或者leader失去大多数的follower,这时候zk进入恢复模式,恢复模式需要重新选举出一个新的le 阅读全文
posted @ 2017-04-20 22:18 Kinginme 阅读(293) 评论(0) 推荐(0) 编辑
摘要: shell 十三问:1) 为何叫做 shell ?2) shell prompt(PS1) 与 Carriage Return(CR) 的关系?3) 别人 echo、你也 echo ,是问 echo 知多少?4) " "(双引号) 与 ' '(单引号)差在哪?5) var=value?export ... 阅读全文
posted @ 2014-09-19 12:01 Kinginme 阅读(245) 评论(0) 推荐(0) 编辑
摘要: 花了一些时间完整的看了一遍,感觉这就是一本精简版的工具书,有很多Demo可以照着完整做一遍,基本上涉及到了AS的所有功能,可以对AS有个整体性的了解,关于最后的一章--Defining Administrative Roles--没有实际完成的操作,限于知识有限,后查找园子里的大神们,发现邀月工作室... 阅读全文
posted @ 2014-07-25 10:46 Kinginme 阅读(139) 评论(0) 推荐(0) 编辑