大数据平台基础架构和常用处理工具
https://blog.csdn.net/qq_27384769/article/details/80159953
一、概述
数据在线分析处理和常用工具
大数据离线处理和常用工具
OLAP 和 OLTP 处理和常用处理工具
二、数据在线分析处理和常用工具
1、Flume 介绍
Flume 专注于大数据的收集和传输，用来解决在线分析处理特点，数据源源不断的到来的问题。类似的大数据开源系统有 Logstash 和 Fluentd 。
三者区别如下：
Logstash 主要 和 Elasticsearch 、 Kibana 结合使用，俗称 ELK 框架； Logstash 主要负责将数据源的数据转换成 Elasticsearch 认识的索引结构供 Kibana 查询
Fluentd 当前的使用者已经很少，逐渐被功能更强大的 Flume 代替了
Flume 能够支持多种数据源并且输出到多种输出源，并且支持多种格式的数据
架构图中 Source 用来连接输出源，Sink 用来连接输出源，Channel 是 Flume 内部数据传输通道(主要包括 Memory Channel 和 File Channel)。
其中 Source 连接的输入源可以但不限于：
Avro
Thrift
Exec(unix command output)
JMS (Java Message Service)
Kafka
NetCat (可以使用 nc –lk port 测试)
Syslog
Custom
其中 Sink 连接的输出源可以但不限于：
Hdfs
Hive
Avro
Thrift
File Roll
Hbase
ElasticSearch (提供的功能和 Logstash 一样，但是不如Logstash 丰富，大多数时候需要自己构造 ElasticSearch 文档和索引)
Kafka
Custom
Flume 也能多个 Agent 相连形成 Agent 链
2、Spark 和 Storm 介绍
Spark (Spark Streaming) 和 Storm 专注于将数据按照时间窗口进行聚合和处理。用来解决在线分析处理特点，数据需要尽快的得到处理的问题。所以经常被称作流式处理框架。
两者的区别如下：
Storm 提供比 Spark 更加实时的流式处理；
Spark 提供比Storm更加多的服务，Spark 逐渐已经形成类似 Hadoop 的生态圈了。
目前Spark 生态圈包含的生态系统如下(而且还正在逐渐的壮大中):
目前 Spark 有三种集群管理模式:
Standalone：一种简单的集群管理，其包括一个很容易搭建集群的Spark；
Apache Mesos ：一种通用的集群管理,可以运行Hadoop MapReduce和服务应用的模式；
Hadoop YARN : Hadoop2.0中的资源管理模式。
其中第二种和第三种都是使用 Spark 做任务管理和调度，Mesos 和 Yarn 做资源管理和调度
Spark 工作组件
Strom 结构图
Storm 的工作组件:
topology：一个拓扑是一个个计算节点组成的图，每个节点包换处理的逻辑，节点之间的连线表示数据流动的方向；
spout：表示一个流的源头，产生tuple；
bolt: 处理输入流并产生多个输出流，可以做简单的数据转换计算，复杂的流处理一般需要经过多个bolt进行处理。
Strom 拓扑topology的组成
3、HBase 介绍
HBase 专注于大数据存储和提供查询，用来解决在线分析处理特点，数据经过处理后数据量依然巨大的存储和展现问题。类似的大数据开源系统有 Cassandra 。
两者区别如下：
Cassandra 满足可用性和分区容忍性，允许数据的不一致(不同客户端可能看到不一样的情况)、 Cassandra 提供了类似 SQL 的 CQL 查询语言，查询方便；
HBase 满足一致性和分区容忍性，拥有强大的记录集一致性。HBase不支持 SQL 需要使用者部署第三方服务来支持 SQL (如 Apache Phoenix)；
组成部件说明：
Client：使用HBase RPC机制与HMaster和HRegionServer进行通信；
Zookeeper: 存储hbase:meta 表等元数据信息；HRegionServer把自己以Emphedral方式注册到Zookeeper中，HMaster随时感知各个HRegionServer的健康状况；Zookeeper避免HMaster单点问题；
HMaster: 主要负责Table和Region的管理工作:
管理用户对表的增删改查操作
管理HRegionServer的负载均衡，调整Region分布
Region Split后，负责新Region的分布
在HRegionServer停机后，负责失效HRegionServer上Region迁移
HRegionServer：HBase中最核心的模块，主要负责响应用户I/O请求，向HDFS文件系统中读写数据：
HRegionServer管理一些列HRegion对象；
每个HRegion对应Table中一个Region，HRegion由多个HStore组成；
每个HStore对应Table中一个Column Family的存储；
Region的 Split 和 StoreFile 的 Compact:
Client写入 -> 存入MemStore，一直到MemStore满 -> Flush成一个StoreFile，直至增长到一定阈值 -> 触发Compact合并操作 -> 多个StoreFile合并成一个StoreFile，同时进行版本合并和数据删除 -> 当StoreFiles Compact后，逐步形成越来越大的StoreFile -> 单个StoreFile大小超过一定阈值后，触发Split操作，把当前Region Split成2个Region，Region会下线，新Split出的2个孩子Region会被HMaster分配到相应的HRegionServer 上，使得原先1个Region的压力得以分流到2个Region上。�由此过程可知，HBase只是增加数据，有所得更新和删除操作，都是在Compact阶段做的，所以，用户写操作只需要进入到内存即可立即返回，从而保证I/O高性能；
三、大数据离线处理和常用工具
1、Hdfs 介绍
Hdfs 是一种分布式文件系统，和任何文件系统一样 Hdfs 提供文件的读取，写入，删除等操作。Hdfs 是能够很好的解决离线处理中需要存储大量数据的要求。Hdfs和本地文件系统的区别如下：
Hdfs 不支持随机读写；
Hdfs 是分布式文件系统，支持数据多备份；
Hdfs 多备份数据存放策略： 第一个副本放在和client所在的node里（如果client不在集群范围内，则这第一个node是随机选取的，当然系统会尝试不选择哪些太满或者太忙的node）；第二个副本放置在与第一个节点不同的机架中的node中（随机选择）；第三个副本和第二个在同一个机架，随机放在不同的node中。如果还有更多的副本就随机放在集群的node里。
客户端读取数据流程图
客户端写入数据流程图
2、MapReduce 介绍
MapReduce 是一种分布式批量计算框架，分为 Map 阶段和 Reduce 阶段。 MapReduce 能够很好的解决离线处理中需要进行大量计算的要求。 MapReduce 从出现到现在经历了第一代 MapReduce v1 和 第二代 MapReduce Yarn。
Yarn 框架相对于老的 MapReduce 框架有以下优势:
减小了 JobTracker的资源消耗，之前JobTracker 既负责资源分配，也负责任务监控，Yarn 将这两项任务分别交给了 ResourceManager 和 ApplicationMaster ，减少了之前 JobTracker 单点失败的风险；
MRv1 将资源分别 Map slot 和 Reduce slot 而且相互之前不能使用，Yarn将资源分别CPU、内存，相互之前能够通用，更加灵活也更加合理；
3、Hive 介绍
Hive 是一种数据仓库，Hive 中的数据存储于文件系统( 大部分使用 Hdfs)，Hive 提供了方便的访问数据仓库中数据的 HQL 方法，该方法将 SQL 翻译成MapReduce。 能够很好的解决离线处理中需要对批量处理结果的查询。 Hive 将元数据存放在 metastore 中, Hive 的 metastore 有三种工作方式:
内嵌Derby方式: 在同一时间只能有一个进程连接使用数据库；
Local方式 : 使用本地 Mysql 数据库存储元数据；
Remote方式: 使用远程已经搭建完成的 Mysql 数据库存储元数据;
四、OLAP 和 OLTP处理和常用工具
OLAP 和 OLTP 特点
OLAP (联机分析处理) 和 OLTP (联机事务处理) 在查询方面的特点：
OLTP 单次查询返回数据量小，但是经常会涉及服务器端简单的聚合操作，要求查询响应速度快，一般应用于在线处理；
OLAP 单次查询返回数据量巨大，服务器端进行的处理复杂，经常包含上卷(从细粒度数据向高层的聚合)、下钻(将汇总数据拆分到更细节的数据)类似的操作；
Elasticsearch 介绍
Elasticsearch 是一种基于 文档 的 底层使用 Lucene 进行检索的分布式NoSql 集群。Elasticsearch 检索大量文档类数据响应速度很快，更够为 在线 OLTP 提供支持。类似的大数据开源系统有 Solr。
两者的区别如下
Elasticsearch是分布式的。不需要其他组件，分发是实时的，被叫做”Push replication” 并且完全支持 Apache Lucene 的接近实时的搜索；
建立索引时，搜索效率下降，实时索引搜索效率不高；
随着数据量的增加，Solr的搜索效率会变得更低，而Elasticsearch却不会有明显变化
所以， Solr的架构不适合实时搜索的应用，也就不适合 OLTP 处理
Impala 介绍
Impala 是 Cloudera 公司主导开发的新型查询系统，它提供 SQL 语义，能查询存储在 Hadoop 的 Hdfs 和 Hbase 中的 PB 级大数据。已有 的 Hive 系统虽然也提供了 SQL 语义，但由于 Hive 底层执行使用的是 MapReduce 引擎，仍然是一个批处理过程，难以满足查询的交互性。相比之 下，Impala 的最大特点就是它的快速。
所以， Impala 使得在 TB 甚至 PB 级数据上进行 OLTP 分析成为可能。
Impala 主要通过以下两种技术实现快速查询大量数据：
实现了嵌套型数据的列存储；
使用了多层查询树，使得任务可以在数千个节点上并行执行和聚合结果；
列存储可以减少查询时处理的数据量，有效提升 查询效率。多层查询树则借鉴了分布式搜索引擎的设计，查询树的根节点负责接收查询，并将查询分发到下一层节点，底层节点负责具体的数据读取和查询执行，然后将结果返回上层节点。
Kylin 介绍
Kylin 是由国人作为主要贡献者的一个旨在对 Hadoop 环境下分析流程进行加速、且能够与 SQL 兼容性工具顺利协作的解决方案，目前 Kylin 已经成功将SQL接口与多维分析机制（OLAP）引入 Hadoop，旨在对规模极为庞大的数据集加以支持。
Kylin 能够在大数据分析领域实现以下各项特性:
规模化环境下的极速 OLAP 引擎: 削减 Hadoop 环境中处理超过百亿行数据时的查询延迟时间；
Hadoop上的 ANSI SQL 接口: Kylin 能够在 Hadoop 之上提供 ANSI SQL 并支持大部分 ANSI SQL查询功能；
利用 OLAP cube（立方体）对数百亿行数据进行查询；
Kylin 的大体设计思路：
从Hive当中读取数据（这些数据被保存在HDFS之上）；
运行Map Reduce任务以实现预计算 ；
将cuba数据保存在HBase当中
利用Zookeeper进行任务协调
6个用于大数据分析的最好工具
大数据是一个含义广泛的术语，是指数据集，如此庞大而复杂的，他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数据集收集自各种各样的来源：传感器，气候信息，公开的信息，如杂志，报纸，文章。大数据产生的其他例子包括购买交易记录，网络日志，病历，军事监控，视频和图像档案，及大型电子商务。
在大数据和大数据分析，他们对企业的影响有一个兴趣高涨。大数据分析是研究大量的数据的过程中寻找模式，相关性和其他有用的信息，可以帮助企业更好地适应变化，并做出更明智的决策。
一、Hadoop
Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。
Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点：
⒈高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。
⒉高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。
⒊高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。
⒋高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。
Hadoop带有用 Java 语言编写的框架，因此运行在 Linux 生产平台上是非常理想的。Hadoop 上的应用程序也可以使用其他语言编写，比如 C++。
二、HPCC
HPCC，High Performance Computing and Communications（高性能计算与通信）的缩写。1993年，由美国科学、工程、技术联邦协调理事会向国会提交了"重大挑战项目：高性能计算与 通信"的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题。HPCC是美国 实施信息高速公路而上实施的计划，该计划的实施将耗资百亿美元，其主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆 比特网络技术，扩展研究和教育机构及网络连接能力。
该项目主要由五部分组成：
1、高性能计算机系统（HPCS），内容包括今后几代计算机系统的研究、系统设计工具、先进的典型系统及原有系统的评价等；
2、先进软件技术与算法（ASTA），内容有巨大挑战问题的软件支撑、新算法设计、软件分支与工具、计算计算及高性能计算研究中心等；
3、国家科研与教育网格（NREN），内容有中接站及10亿位级传输的研究与开发；
4、基本研究与人类资源（BRHR），内容有基础研究、培训、教育及课程教材，被设计通过奖励调查者-开始的，长期 的调查在可升级的高性能计算中来增加创新意识流，通过提高教育和高性能的计算训练和通信来加大熟练的和训练有素的人员的联营，和来提供必需的基础架构来支 持这些调查和研究活动；
5、信息基础结构技术和应用（IITA ），目的在于保证美国在先进信息技术开发方面的领先地位。
三、Storm
Storm是自由的开源软件，一个分布式的、容错的实时计算系统。Storm可以非常可靠的处理庞大的数据流，用于处理Hadoop的批量数据。Storm很简单，支持许多种编程语言，使用起来非常有趣。Storm由Twitter开源而来，其它知名的应用企业包括Groupon、淘宝、支付宝、阿里巴巴、乐元素、Admaster等等。
Storm有许多应用领域：实时分析、在线机器学习、不停顿的计算、分布式RPC（远过程调用协议，一种通过网络从远程计算机程序上请求服务）、 ETL（Extraction-Transformation-Loading的缩写，即数据抽取、转换和加载）等等。Storm的处理速度惊人：经测 试，每个节点每秒钟可以处理100万个数据元组。Storm是可扩展、容错，很容易设置和操作。
四、Apache Drill
为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法，Apache软件基金会近日发起了一项名为"Drill"的开源项目。Apache Drill 实现了 Google’s Dremel.
据Hadoop厂商MapR Technologies公司产品经理Tomer Shiran介绍，"Drill"已经作为Apache孵化器项目来运作，将面向全球软件工程师持续推广。
该项目将会创建出开源版本的谷歌Dremel Hadoop工具（谷歌使用该工具来为Hadoop数据分析工具的互联网应用提速）。而"Drill"将有助于Hadoop用户实现更快查询海量数据集的目的。
"Drill"项目其实也是从谷歌的Dremel项目中获得灵感：该项目帮助谷歌实现海量数据集的分析处理，包括分析抓取Web文档、跟踪安装在Android Market上的应用程序数据、分析垃圾邮件、分析谷歌分布式构建系统上的测试结果等等。
通过开发"Drill"Apache开源项目，组织机构将有望建立Drill所属的API接口和灵活强大的体系架构，从而帮助支持广泛的数据源、数据格式和查询语言。
五、RapidMiner
RapidMiner是世界领先的数据挖掘解决方案，在一个非常大的程度上有着先进技术。它数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。
功能和特点
- 免费提供数据挖掘技术和库
- 100%用Java代码（可运行在操作系统）
- 数据挖掘过程简单，强大和直观
- 内部XML保证了标准化的格式来表示交换数据挖掘过程
- 可以用简单脚本语言自动进行大规模进程
- 多层次的数据视图，确保有效和透明的数据
- 图形用户界面的互动原型
- 命令行（批处理模式）自动大规模应用
- Java API（应用编程接口）
- 简单的插件和推广机制
- 强大的可视化引擎，许多尖端的高维数据的可视化建模
- 400多个数据挖掘运营商支持
耶鲁大学已成功地应用在许多不同的应用领域，包括文本挖掘，多媒体挖掘，功能设计，数据流挖掘，集成开发的方法和分布式数据挖掘。
六、Pentaho BI
Pentaho BI 平台不同于传统的BI 产品，它是一个以流程为中心的，面向解决方案（Solution）的框架。其目的在于将一系列企业级BI产品、开源软件、API等等组件集成起来，方便商务智能应用的开发。它的出现，使得一系列的面向商务智能的独立产品如Jfree、Quartz等等，能够集成在一起，构成一项项复杂的、完整的商务智能解决方案。
Pentaho BI 平台，Pentaho Open BI 套件的核心架构和基础，是以流程为中心的，因为其中枢控制器是一个工作流引擎。工作流引擎使用流程定义来定义在BI 平台上执行的商业智能流程。流程可以很容易的被定制，也可以添加新的流程。BI 平台包含组件和报表，用以分析这些流程的性能。目前，Pentaho的主要组成元素包括报表生成、分析、数据挖掘和工作流管理等等。这些组件通过 J2EE、WebService、SOAP、HTTP、Java、JavaScript、Portals等技术集成到Pentaho平台中来。 Pentaho的发行，主要以Pentaho SDK的形式进行。
Pentaho SDK共包含五个部分：Pentaho平台、Pentaho示例数据库、可独立运行的Pentaho平台、Pentaho解决方案示例和一个预先配制好的 Pentaho网络服务器。其中Pentaho平台是Pentaho平台最主要的部分，囊括了Pentaho平台源代码的主体；Pentaho数据库为 Pentaho平台的正常运行提供的数据服务，包括配置信息、Solution相关的信息等等，对于Pentaho平台来说它不是必须的，通过配置是可以用其它数据库服务取代的；可独立运行的Pentaho平台是Pentaho平台的独立运行模式的示例，它演示了如何使Pentaho平台在没有应用服务器支持的情况下独立运行；
Pentaho解决方案示例是一个Eclipse工程，用来演示如何为Pentaho平台开发相关的商业智能解决方案。
Pentaho BI 平台构建于服务器，引擎和组件的基础之上。这些提供了系统的J2EE 服务器，安全，portal，工作流，规则引擎，图表，协作，内容管理，数据集成，分析和建模功能。这些组件的大部分是基于标准的，可使用其他产品替换之。
开源实时流处理系统小结
这里对目前业界开源的一些实时流处理系统做一次小结，作为日后进行技术调研的参考资料。
S4
S4(Simple Scalable Streaming System)是Yahoo最新发布的一个开源流计算平台，它是一个通用的、分布式的、可扩展性良好、具有分区容错能力、支持插件的分布式流计算平台，在该平台上程序员可以很方便地开发面向无界不间断流数据处理的应用，开发语言为Java。
项目链接：http://incubator.apache.org/s4/（注：S4 0.5.0已支持TCP链接及状态恢复等特性）
Storm
Storm是Twitter开源的分布式实时计算系统，Storm通过简单的API使开发者可以可靠地处理无界持续的流数据，进行实时计算，开发语言为Clojure和Java，非JVM语言可以通过stdin/stdout以JSON格式协议与Storm进行通信。Storm的应用场景很多：实时分析、在线机器学习、持续计算、分布式RPC、ETL处理，等等。
StreamBase
StreamBase是一个关于复杂事件处理（CEP）、事件流处理的平台。其本身是商业应用软件，但提供了Developer Edition，开发语言为Java。
项目链接：http://www.streambase.com
HStreaming
HStreaming构建在Hadoop之上，可以和Hadoop及其生态系统紧密结合起来提供实时流计算服务。这使得HStreaming的用户可以在同一个生态系统中分析处理大数据，开发语言为Java。
项目链接：http://www.hstreaming.com
Esper & NEsper
Esper是专门进行复杂事件处理（CEP）的流处理平台，Java版本为Esper，.Net版本为NEsper。Esper & NEsper可以方便开发者快速开发部署处理大容量消息和事件的应用系统，不论是历史的还是实时的消息。
项目链接：http://esper.codehaus.org
Kafka
Kafka是Linkedin于2010年12月份开源的高吞吐、基于Pub-Sub的分布式消息系统，主要用于处理活跃的流式数据，开发语言为Scala。
项目链接：http://incubator.apache.org/kafka
Scribe
Scribe是Facebook开源的日志收集系统，开发语言为C，通过Thrift可以支持多种常用客户端语言，在Facebook内部已经得到大量的应用。它能够从各种日志源上收集日志，存储到一个中央存储系统（可以是NFS，分布式文件系统等）上，以便于进行集中统计分析处理。它为日志的“分布式收集，统一处理”提供了一个可扩展的，高容错的方案。Scribe通常与Hadoop结合使用，Scribe用于向HDFS中push日志，而Hadoop通过MapReduce作业进行定期处理。
项目链接：http://github.com/facebook/scribe
Flume
Flume是Cloudera提供的一个分布式、可靠的、高可用的日志收集系统，用于收集、聚合以及移动大量日志数据，开发语言为Java。Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接收方（可定制）的能力。
