随笔分类 -  大数据

• Hadoop整合版
  摘要：https://www.cnblogs.com/pangzx/p/10296411.html 阅读全文
  posted @ 2020-02-19 14:28 wenter2018 阅读(109) 评论(0) 推荐(0)
• Zookeeper
  摘要：为分布式应用提供一致性服务的软件，提供的功能包括： 配置维护、域名服务、分布式同步、组服务 ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。 1. 命名服务 命名服务是分布式系统中较为常见的一类场景，分布式系统中，被命名的实体通常可以是集 阅读全文
  posted @ 2020-01-02 17:06 wenter2018 阅读(166) 评论(0) 推荐(0)
• Spark kafka flume
  摘要：Flume Flume 是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，通过监控整个文件目录或者某一个特定文件，用于收集数据；同时Flume也 提供数据写到各种数据接受方(可定制)的能力，用于转发数据。 Kafka kafka是分布式发布-订阅消息系统。 它的架构包 阅读全文
  posted @ 2020-01-02 16:10 wenter2018 阅读(166) 评论(0) 推荐(0)
• HBase Hive
  摘要：Hbase数据管理 Hbase就是Hadoop database Hbase是列式数据库 因此Hbase特别适合寻找按照时间排序寻找Top n的场景 Hive数据管理 基于 Hadoop 文件系统的数据仓库 Hive是建立在Hadoop上的数据仓库基础架构。它提供了一系列的工具，用来进行数据提取、转 阅读全文
  posted @ 2020-01-02 15:05 wenter2018 阅读(148) 评论(0) 推荐(0)
• MapReduce
  摘要：MapReduce诞生于搜索领域，主要解决的是海量数据处理扩展性差的问题。 MapReduce将复杂的，运行大规模集群上的并行计算过程高度地抽象两个函数：Map和Reduce MapReduce采用“分而治之”策略，将一个分布式文件系统中的大规模数据集，分成许多独立的分片。这些分片可以被多个Map任 阅读全文
  posted @ 2020-01-02 14:32 wenter2018 阅读(416) 评论(0) 推荐(0)
• Hadoop
  摘要：版权声明：本文为CSDN博主「很吵请安青争」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。原文链接：https://blog.csdn.net/dpengwang/article/details/79060052 ——————————————————————— 阅读全文
  posted @ 2020-01-02 14:13 wenter2018 阅读(115) 评论(0) 推荐(0)