摘要：
一、Zookeeper是什么 (安装的是3.4.7) ZooKeeper 是一个分布式的，开放源码的分布式应用程序协调服务，是 Google 的 Chubby 一个开源的实现。它提供了简单原始的功能，分布式应用可以基于它实现更高级 的服务， 比如分布式同步， 配置管理， 集群管理， 命名空间，队列管 阅读全文
posted @ 2017-04-19 22:43
凌-风
阅读(1071)
评论(0)
推荐(0)
摘要：
一、shuffle机制 1、概述 （1）MapReduce 中， map 阶段处理的数据如何传递给 reduce 阶段，是 MapReduce 框架中最关键的一个流程，这个流程就叫 Shuffle；（2）Shuffle: 数据混洗 ——（核心机制：数据分区，排序，缓存）；（3） 具体来说：就是将 m 阅读全文
posted @ 2017-04-19 22:28
凌-风
阅读(1063)
评论(0)
推荐(0)
摘要：
一、MapJoin-DistributedCache 应用 1、mapreduce join 介绍 在各种实际业务场景中，按照某个关键字对两份数据进行连接是非常常见的。如果两份数据 都比较小，那么可以直接在内存中完成连接。如果是大数据量的呢？ 显然，在内存中进行连 接会发生 OOM。 MapRedu 阅读全文
posted @ 2017-04-19 21:17
凌-风
阅读(828)
评论(0)
推荐(0)
摘要：
一、介绍 1、数据库 数据库，通俗的讲，即为存储数据的“仓库”。不过，数据库不仅只是存储，还对所存储的数据做相应的管理，例如，访问权限，安全性，并发操作，数据的备份与恢复，日志等。实际上，我们所提及的数据库，就是数据库管理系统。（ DBMS，Database Management System） 2 阅读全文
posted @ 2017-04-19 18:20
凌-风
阅读(536)
评论(0)
推荐(0)
浙公网安备 33010602011771号