摘要：
ZooKeeper集群角色介绍： 最典型集群模式：Master/Slave 模式（主备模式）。在这种模式中，通常 Master 服务器作为主服务器提供写服务，其他的 Slave 服务器从服务器通过异步复制的方式获取 Master 服务器最新的数据提供读服务。 但是，在 ZooKeeper 中没有选择 阅读全文
posted @ 2019-03-15 13:08
Vowzhou
阅读(306)
评论(0)
推荐(0)
摘要：
IPv6与IPv4区别： 1:IPv6的地址空间更大。IPv4中规定IP地址长度为32，即有2^32-1个地址； 而IPv6中IP地址的长度为128，即有2^128-1个地址。 2.IPv6的路由表更小。IPv6的地址分配一开始就遵循Aggregation（聚类）的原则，这使得路由器能在路由表中 用 阅读全文
posted @ 2019-03-12 10:51
Vowzhou
阅读(716)
评论(0)
推荐(0)
摘要：
Apache的顶级项目，（java） 2008年Facebook公司开源给Apache基金会 官网：http://hive.apache.org/ hive 将SQL转换成MapReduce程序，并将程序提交到YARN 集群运行，不会自动生成结果文件 直接 读取HDFS上的数据 然后处理 sql q 阅读全文
posted @ 2019-03-12 09:58
Vowzhou
阅读(287)
评论(0)
推荐(0)
摘要：
ssh连接失败，排错经验 一、场景描述 ssh连接服务器，发现连接失败，但是对应服务器的ip能够ping通。 场景： [root@yl-web ~]# ssh root@10.1.101.35 ssh_exchange_identification: read: Connection reset b 阅读全文
posted @ 2019-03-06 11:21
Vowzhou
阅读(2844)
评论(0)
推荐(0)
摘要：
Cloudera 简介： 公司是一家 Hadoop 软件服务公司，提供免费软件 CDH 和 Cloudera Manager Free Edition，同时提供 Hadoop 相关资讯、培训、技术支持等服务。Hadoop 创始人 Dong Cutting 在该公司任架构师，同时该公司拥有多名 Apa 阅读全文
posted @ 2019-03-04 20:37
Vowzhou
阅读(396)
评论(0)
推荐(0)
摘要：
Partitioner: Partitioner的作用是决定Map Task产生的数据记录交给哪个Reduce Task处理。默认实现是：（key）mod R，其中R是Reduce Task个数。一般情况下，当需要按照key的一部分（不是全部，比如key的前三个字节）进行partition，或者按照 阅读全文
posted @ 2019-03-01 11:52
Vowzhou
阅读(139)
评论(0)
推荐(0)
摘要：
解决方案二1. 增加reduce 的jvm内存2. 增加reduce 个数3. customer partition4. 其他优化的讨论.5. reduce sort merge排序算法的讨论6. 正在实现中的hive skewed join.7. pipeline8. distinct9. ind 阅读全文
posted @ 2019-03-01 11:52
Vowzhou
阅读(3410)
评论(0)
推荐(0)
摘要：
combiner是发生在map的最后一个阶段，其原理也是一个小型的reducer，主要作用是减少输出到reduce的个数，减少reducer的输入，提高reducer的执行效率。注意：mapper的输出为combiner的输入，reducer的输入为combiner的输出。 求平均值的时候不用 聚合 阅读全文
posted @ 2019-03-01 09:43
Vowzhou
阅读(246)
评论(0)
推荐(0)
摘要：
MapReduce map100% Reduce 66% 卡死 如果你碰到map100%,reduce 66% 然后程序就貌似停止在这里了，可能是由于在Reduce类里使用了String造成的 根据一位外国友人的说明，在reduce阶段 ，0-33%阶段是 shuffle 阶段，就是根据键值 来讲本 阅读全文
posted @ 2019-03-01 09:35
Vowzhou
阅读(310)
评论(0)
推荐(0)
摘要：
Error: java.io.IOException: Initialization of all the collectors failed. Error in last collector was :interface javax.xml.soap.Text Initialization of 阅读全文
posted @ 2019-01-23 09:57
Vowzhou
阅读(336)
评论(0)
推荐(0)
浙公网安备 33010602011771号