ODPS

ODPS 功能之概述篇

概述

ODPS是阿里云基于自有的云计算技术研发一套开放数据处理服务(Open Data Processing Service,简称 ODPS),具有TB/PB级数据计算能力,主要用于大数据仓库、挖掘、分析以及数据分享等场景。 今天阿里内部包括阿里贷款、数据魔方、DMP(阿里妈妈广告联盟)、余额宝等多款产品的数据分析都在使用ODPS。

ODPS 整体架构如下图,

主要分为三层:

接入层:以RESTful API方式提供服务,用户及数据应用通过Http/Https与接入层建立链接上传数据及提交数据分析作业;

逻辑层:ODPS的核心控制层,负责用户认证、签权、作业分发、Meta管理以及存储计算集群管理;

存储计算层:数据的存储及计算作业运行。该层是由多个集群构成,所有集群挂接到ODPS控制层。数据存储在飞天的盘古上,每个文件分三份存储。控制层将用户提交的计算作业调度不同的集群上。

ODPS功能

用户项目空间-Project

Project是用户使用ODPS时最先接触的概念,它类似Oracle的schema或者Mysql中的database。Project 也是ODPS中最基本的资源隔离单位,每个用户数据及计算任务都隶属于一个Project。 各Project 之间也可以通过授权建立共享通道,进行数据交换。Project 也是ODPS中的计量单元,收费也是以一个Project为基本单位的。

用户在使用ODPS之前,需要申请创建一个Project,有了Project之后,用户就可以上传数据做数据分析了。

数据处理流程

一般的大数据处理流程分为三部分,如下图所示:

1. 数据主要来源于在线系统,如业务数据库Mysql、Oracle,网站的日志文件。 这些数据都可以通过ODPS提供的数据通道功能导入到ODPS中;

2. 数据导入后,可以使用SQL、MR做数据分析,也可以使用流计算对数据进行聚合等操作,还可以使用机器学习算法对数据建模、预测。ODPS提供的是“All in One ”服务,只要数据导入到ODPS后,各种高大尚分析挖掘工具都可以直接拿过来使用,用户只需要关注在自己的数据业务,根本不需要关于底层是如何工作的;

3. 数据处理完毕后,如果是算法模型,可以使用ODPS的在线预测服务,将模型Push到在线预测系统中进行在线的数据预测。如果是分析结果,可以通过数据通道导回到Mysql 、Oracle中,与业务应用系统对接;

围绕这样的一个数据处理流程,ODPS在各个阶段提供了不同的功能。

数据存储

用户的数据上传到ODPS后,默认会以结构化的方式存储到ODPS的表。表隶属于Project,可以进行分区,有自己的数据类型,如Bigint, Boolean, Double, Datetime, String, Decimal。 数据上传后,以列压缩的方式存储到盘古上。这种压缩方式的好处就是对于文本类型的数据,一般都能取得较好的压缩比,一般是4:1,即10G的数据,在ODPS上的size为2.5G。每个文件默认会保存三份。

数据通道

根据数据分析的性质, ODPS提供两种数据通道-批量数据上传及实时数据上传两种。

批量数据上传适合大量数据的上传,批量上传通道限制每个写入ODPS的数据块最大为100G。每次上传完成后,调用Commit方法,数据即可保存到表中;

实时上传适合数据流处理的场景,如流计算,每次上传数据的packet为2M。通过实时通道上传的数据可以直接使用ODPS Stream SQL 进行流计算,也可以使用数据订阅接口将数据转发到第三方的流计算应用中,这个功能就类似于AWS的Kinesis。 通过实时上传的数据,默认会保存一份到ODPS表中,所以也可以通过实时通道向ODPS实时导入数据;

批量通道提供了上传和下载的接口,实时通道只提供了上传的接口,但同时也提供了订阅接口,允许数据被其它应用所订阅。

使用可以使用CLT中的数据上传命令将本地的文本文件上传至ODPS,也可以使用Java、Python SDK通过编程上传数据。 同时ODPS也引入了两个开源社区中日志数据上传的两大利器:Flume和Fluentd。用户可以使用这两个工具将各种源的数据上传到ODPS中。今天ODPS的用户大部分都在通过这两款工具将Web 日志实时导入到ODPS中做数据分析。

SQL

用户最熟悉使用SQL对数据分析了。ODPS也支持SQL查询操作,而且语法类似于Hive 的HQL。SQL操作的主要对象是表,数据量可在T级到P级。SQL中提供的功能有:

DLL:表、列、分区、视图、生命周期等操作 ;

DML:数据更新、多路输出以及动态分区输出 ;

Join:多表关联分析,支持 inner , left , right full join 以及mapjoin;

窗口函数:支持常见的窗口函数如avg,count 也支持滑动窗口;

UDF: 支持通过Java、Python编写UDF、UDAF和UDTF;

Stream SQL

通过实时通道上传的数据,可以直接使用Stream SQL做流计算。 ODPS 的流计算是一种创新的流计算方式,可以通过类SQL的语法就能定义流计算的作业,如:

创建一个流计算的任务,该任务引用stream_in表作为数据源,并且将结果写入stream_out表中

create streamjob streamjob1 as

insert into stream_out

select count(*)

from stream_in ;

end streamjob;

随着数据的上传,在ODPS客户端窗口中执行若干次

select * from stream_out;

会发现有一系列逐渐累积增长的汇总数据。

Stream SQL 支持单流计算、多流Join、同时还支持流与维表的Join,并提供了聚合、排序及子查询的功能。

MapReduce

ODPS提供了MapReduce的编程接口。用户在处理数据时,如果SQL满足不了要求,可以使用MapReduce。

MapReduce处理数据过程主要分成2个阶段:Map阶段和Reduce阶段。首先执行Map阶段,再执行Reduce阶段。Map和Reduce的处理逻辑由用户自定义实现, 但要符合MapReduce框架的约定。

• 在正式执行Map前,需要将输入数据进行”分片”。所谓分片,就是将输入数据切分为大小相等的数据块,每一块作为单个Map Worker的输入被处理, 以便于多个Map Worker同时工作。

• 分片完毕后,多个Map Worker就可以同时工作了。每个Map Worker在读入各自的数据后,进行计算处理,最终输出给Reduce。Map Worker在输出数据时, 需要为每一条输出数据指定一个Key。这个Key值决定了这条数据将会被发送给哪一个Reduce Worker。Key值和Reduce Worker是多对一的关系, 具有相同Key的数据会被发送给同一个Reduce Worker,单个Reduce Worker有可能会接收到多个Key值的数据。

• 在进入Reduce阶段之前,MapReduce框架会对数据按照Key值排序,使得具有相同Key的数据彼此相邻。如果用户指定了”合并操作”(Combiner), 框架会调用Combiner,将具有相同Key的数据进行聚合。Combiner的逻辑可以由用户自定义实现。与经典的MapReduce框架协议不同,在ODPS中, Combiner的输入、输出的参数必须与Reduce保持一致。这部分的处理通常也叫做”洗牌”(Shuffle)。

• 接下来进入Reduce阶段。相同的Key的数据会到达同一个Reduce Worker。同一个Reduce Worker会接收来自多个Map Worker的数据。 每个Reduce Worker会对Key相同的多个数据进行Reduce操作。最后,一个Key的多条数据经过Reduce的作用后,将变成了一个值。

由于目前ODPS MR只能处理ODPS中表里的数据,与Hadoop MR相比,不同的地方就在Map和Reduce 的声明上,如下:

ODPS MR的输入数据是表的Record,可以通过Record对象来获取每列的值,如:

ODPS对用户提供了JAVA的MR编程接口,同时还可以使用开源的Eclipse 开源插件在本地编写、调度MR程序,成功后再部署到ODPS上运行。

图模型-Graph

ODPS 提供了类似Google Pregel的图编程模型。 用户可以用来编写满足聚类、Pagerank以及求最短路径这样场景的算法。

ODPS GRAPH能够处理的图必须是是一个由点(Vertex)和边(Edge)组成的有向图。由于ODPS仅提供二维表的存储结构, 因此需要用户自行将图数据分解为二维表格式存储在ODPS中,在进行图计算分析时, 使用自定义的GraphLoader将二维表数据转换为ODPS Graph引擎中的点和边。

点的结构可以简单表示为 < ID, Value, Halted, Edges >,分别表示点标识符(ID),权值(Value),状态(Halted, 表示是否要停止迭代), 出边集合(Edges,以该点为起始点的所有边列表)。边的结构可以简单表示为<DestVertexID, Value >,分别表示目标点(DestVertexID)和权值(Value)。如下图所示:

典型的Graph 程序逻辑包括三步:

1. 加载图:通过自定义的GraphLoader将数据解析为点或边,并对数据分片,分配到相应的Worker上;

2. 迭代计算:遍历所有非结束状态的点或收到消息的点,并调用其Compute方法进行计算;

3. 迭代终止:所有点处于结束或达到最大迭代次数后,程序终止;

机器学习平台 DT PAI

DT PAI是阿里巴巴推出的基于云计算的机器学习平台。在这个平台上,用户可以使用多种算法及在线预测服务。

DT PAI的功能包括

  • 与ODPS完美集成,基于Project级别数据访问;
  • 提供特征工程工具,如基本统计、拆分、随机采样、归一化等 ;
  • 提供部分数据统计工具模块,如全表统计、直方图、百分位等;
  • 提供多种机器学习算法,包括逻辑回归、随机森林、SVM、朴素贝叶斯、GBDT回归以及聚类算法等;
  • 提供标准的模型评估方法,如ROC、混淆矩阵、AUC;
  • 提供离线预测,将预测数据导入到ODPS表中,通过模型预测完成后,直接输出到结果表中;
  • 提供在线预测,通过将Offline Model发布到Online Model 服务中,即可以使用API使用实时在线预测服务;
  • 提供PAI 命令, 基于ODPS CLT运行所有算法;
  • 通过PAI Web 控制台轻松搭建算法实验,PAI Web 如下:

安全

大家在使用ODPS的时候,最关心的就是自己的数据放到ODPS是否安全,是否会被泄露。 ODPS 支持多租户的使用场景,满足不同用户在ODPS中独立、协同、共享等不同数据操作的需求,可以说ODPS的安全机制是ODPS能在对外服务核心。

ODPS的安全由如下功能构成:

  • 访问ODPS的用户必须在阿里云官网上进行注册,在使用ODPS的时候,都需要进一步认证;
  • 用户在访问ODPS Project中每个对象时都需要授权,用户在读取数据或执行作业时都会被检查权限;
  • ODPS中支持ACL授权,允许管理者使用Grant、Revoke等命令对用户、角色进行管理;
  • ODPS中还支持Policy授权,允许Project Owner使用JSON格式的描述语言对主体(访问者)、资源(访问对象)、操作三者之前通过访问限制及效力策略进行管理、控制;
  • ODPS还支持Package方式授权。将Project A中的对象打到Package中,然后安装到Package B,满足跨Project B访问A中数据的需求;
  • ODPS中的Project 还有保护模型,即数据只能在本Project中计算,不允许导到本地或导到其他project输出,但可以通过白名单导出;
  • ODPS中所有计算是在受限的沙箱中运行的,多层次的应用沙箱,从KVM级到Kernel级。系统沙箱配合鉴权管理机制,用来保证数据的安全;
We only live once, and time just goes by.
posted @ 2017-04-23 21:13  酸奶加绿茶  阅读(5385)  评论(0编辑  收藏  举报