大数据场景化解决方案

1.大数据的概念

维基百科的定义： 大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。

2.大数据主流技术

数据采集：

• 使用Flume，可进行流式日志数据的收集。
• 使用Sqoop可以交互关系型数据库，进行导入导出数据。
• 使用爬虫技术，可在网上爬取海量网页数据。

数据存储与管理：

      大数据利用分布式文件系统HDFS、HBase、Hive，实现对结构化、半结构化和非结构化数据的存储和管理。

数据处理与分析：

      利用分布式并行编程模型和计算框架，结合机器学习和数据挖掘算法，实现对海量数据的处理和分析。

3.场景化解决方案

在面对不同的场景时，会使用不同的大数据组件去解决处理，主要有如下大数据场景化解决方案。

• 离线批处理
• 实时检索
• 实时流处理
• 融合数仓

3.1 离线批处理

      离线批处理，是指对海量历史数据进处理和分析，生成结果数据，供下一步数据应用使用的过程。离线批处理对数据处理的时延要求不高，但是处理的数据量较大，占用的计算存储资源较多，通常通过MR作业、Spark作业或者HQL作业实现。

离线批处理的特点:

• 处理时间要求不高
• 处理数据量巨大
• 处理数据格式多样
• 占用计算存储资源多

离线处理常用的组件：

• HDFS：分布式文件系统，为各种批处理引擎提供数据存储，可以存储各种文件格式数据。
• YARN：资源调度引擎，为各种批处理引擎提供资源调度能力。
• MapReduce：大数据批处理引擎，用于处理海量数据，但是处理速度较慢。
• Hive：大数据SQL批处理引擎，用于处理SQL类批处理作业，但是处理速度较慢。
• Spark：基于内存的数据处理引擎，适合海量数据，处理速度高效。
• Spark SQL：Spark处理结构化数据的一个模块。

HDFS介绍

HDFS(Hadoop Distributed File System)基于Google发布的GFS论文设计开发。 其除具备其它分布式文件系统相同特性外，HDFS还有自己特有的特性：

• 高容错性：认为硬件总是不可靠的。
• 高吞吐量：为大量数据访问的应用提供高吞吐量支持。
• 大文件存储：支持存储TB-PB级别的数据。

HDFS适合：大文件存储与访问 流式数据访问

HDFS不适合：大量小文件存储 随机写入 低延迟读取

HDFS回收站机制：

• 在HDFS里，删除文件时，不会真正的删除，其实是放入回收站，回收站里的文件可以用来快速恢复误删文件。
• 可以设置一个时间阀值（单位：分钟），当回收站里文件的存放时间超过这个阀值或是回收站被清空时，文件才会被彻底删除，并且释放占用的数据块。
• Hadoop回收站trash，默认是关闭的，若开启需要修改配置文件core-site.xml。

Hive概述

Hive是基于Hadoop的数据仓库软件，可以查询和管理PB级别的分布式数据。

Hive特性：

• 灵活方便的ETL (Extract/Transform/Load)。
• 支持MapReduce、Tez、Spark多种计算引擎。
• 可直接访问HDFS文件以及HBase。
• 易用易编程。

Hive函数：

查看系统函数的用法：show functions;

显示函数的用法：desc function upper;

详细显示函数的用法：desc function extended upper;

当Hive提供的内置函数无法满足业务处理需要时，此时就可以考虑使用用户自定义函数，编写处理代码并在查询中使用。

• UDF(User-Defined-Function） 用于接收单个数据行，并产生一个数据行作为输出。
• UDAF(User-Defined Aggregation Function） 用于接收多个数据行，并产生一个数据行作为输出。
• UDTF(User-Defined Table-Generating Functions） 用于接收单个数据行，并产生多个数据行作为输出。

Hive调优

数据倾斜

    数据倾斜指计算数据的时候，数据的分散度不够，导致大量的数据集中到了一台或者几台机器上计算，这些数据的计算速度远远低于平均计算速度，导致整个计算过程过慢。

    日常使用过程中，容易造成数据倾斜的原因可以归纳为如下几点：

• group by
• distinct count(distinct xx)
• join

调优参数：

在map中会做部分聚集操作，效率更高但需要更多的内存。

set hive.map.aggr=true；

此时生成的查询计划会有两个MRJob，可实现数据倾斜时负载均衡。

set hive.groupby.skewindata=true;

当连接一个较小和较大表的时候，把较小的表直接放到内存中去，然后再对较大的表进行map操作。

set hive.auto.convert.join=true;

每个查询会被Hive转化为多个阶段，当有些阶段关联性不大时，可以并行化执行，减少整个任务的执行时间。

开启任务并行执行：

set hive.exec.parallel=true;

设置同一个sql允许并行任务的最大线程数（例如设置为8个）：

set hive.exec.parallel.thread.number=8;

数据集市和数据仓库的区别:

数据集市

     数据集市(Data Mart) ，也叫数据市场，数据集市就是满足特定的部门或者用户的需求，按照多维的方式进行存储，包括定义维度、需要计算的指标、维度的层次等，生成面向决策分析需求的数据立方体。

数据仓库

      为满足各类零散分析的需求，通过数据分层和数据模型的方式，并以基于业务和应用的角度将数据进行模块化的存储。

数据仓库分层：

• ODS层：原始数据层。
• DWD层：结构和粒度与原始表保持一致，简单清洗。
• DWS层：以DWD为基础，进行轻度汇总。
• ADS层：为各种统计报表提供数据。

分层的优点：

• 复杂问题简单化，将任务分解成多个步骤完成，每一层只处理单一的步骤，比较简单，并且方便定位问题。
• 减少重复开发，规范数据分层，通过中间层数据，减少最大的重复计算，增加一次计算结果的复用性。
• 隔离原始数据，避免数据异常或者数据敏感，使真实数据与统计数据解耦。

 

3.2 实时检索

      实时检索简而言之就是对系统内的一些信息根据关键词进行即时、快速搜索，实现即搜即得的效果。强调的是实时低延迟。

实时检索的特点：

• 检索性能要求高，基于主键的检索需要在1秒内响应，基于非主键的检索需要在3秒内响应，不承担复杂查询和统计类查询
• 高并发查询，通常有大于100的并发查询
• 数据量大，PB级数据量，集群规模在1000节点以上。对图数据库的场景，点个数在10亿以上，边个数在100亿以上
• 支持结构化和非结构化，需要同时保存结构化数据和非结构化数据，经常用来对图片等小文件进行检索
• 高效的数据加载，数据加载要求高，每小时可以加载TB级数据
• 支持图检索，支持检索图数据，支持图标准查询接口

 

 3.3 实时流处理

      实时流处理，通常是指对实时数据源进行快速分析，迅速触发下一步动作的场景。实时数据对分析处理速度要求极高，数据处理规模巨大，对CPU和内存要求很高，但是通常数据不落地，对存储量要求不高。实时处理，通常通过Structured Streaming或者Flink任务实现。

实时流处理的特点：

• 处理速度快：端到端处理需要达到秒级，流处理平台负责的数据采集和数据处理要在1秒内完成。如风控项目要求单条数据处理时间达到秒级，单节点TPS大于2000。
• 吞吐量高：需在短时内接收并处理大量数据记录，吞吐量需要达到数十兆/秒/节点。
• 抗震性强：为应对数据源端业务数据产生速度会突然出现峰值的情形，需提供数据缓存机制。
• 可靠性高：网络、软件等故障发生时，需保证每条数据不丢失，数据处理不遗漏、不重复。
• 水平扩展：当系统处理能力出现瓶颈后，可通过节点的水平扩展提升处理性能。
• 多数据源支持：支持网络流、文件、数据库表、IOT等格式的数据源。对于文件数据源，可以处理增量数据的加载。
• 数据权限和资源隔离：消息处理、流处理需要有数据权限控制，不同的作业、用户可以访问、处理不同的消息和数据。多种流处理应用之间要进行资源控制和隔离，防止发生资源争抢。
• 第三方工具对接：支持与第三方规则引擎、决策系统、实时推荐系统等对接。

 

 3.4 融合数仓