pig实战 pig常用语法总结,教你快速入门——结构篇

  任何一种语言的学习掌握都离不开结构和算法的思想,本文将从结构方面剖析Pig常用操作后的结构,总结了其中的一些容易犯错的地方。

  详细语法介绍请参考http://pig.apache.org/docs/r0.8.1/piglatin_ref2.html#Casting+Relations+to+Scalars;个人的总结请参考下一篇pig常用语法总结,教你快速入门——算法篇

结构:

  LOAD 后的数据结构为:

    A: {col1: int,col2: int,col3: int,col4: double,col5: double}

  GROUP BY 后的数据结构为:
    B: {group:tuple(col1:int,col2:int),B:bag{:tuple(col1:int,col2:int,col3:int,col4:int)}

  GENERATE group后数据结构为
    C: {group:tuple(col1: int,col2: int,col3: int),double,double}

  GROUP A all后的数据结构为:
    B: {group: chararray,A: {(col1: int,col2: int,col3: int,col4: int)}}

  DISTINCT后的结构是:
    C: {group:tuple(col1:int, col2:int), long};}

  对A FILTER操作B = FILTER A BY A.col3 >2;后结构为
    B: {col1: int,col2: int,col3: int,col4: int}
    而对B进行分组操作后,结构为
    C: {group:tuple(col1: int,col2: int),B:bag{(col1: int,col2: int,col3: int,col4: int)}}
    当引用的列为bag中的field时,要带上bag名,即B.col3;

  对两个文件按一个字段JOIN后结构为:
    C: {A::col1: int,A::col2: int,A::col3: int,A::col4: double,A::col5: double,B::col6: int,B::col7: int,B::col8: int,B::col9: int}

    对field的引用方法为A::coln

  UNION 两个文件后的结构是:
    C: {col1: int,col2: int}

  FILTER后,字段名没有改变,所以接下来group的时候不能带关系名称,对于这点,当出现““scalar has more than one row in the output”错误时,先describe上个操作结果结构,如果是C: {group: (col1: int,col2: int),B: {(col1: int,col2: int,col3: int,col4: int)}}这个结构,则下部操作要带B关系名,如果是"C: {A::col1: int,A::col2: int,A::col3: int,A::col4: double,A::col5: double,B::col6: int,B::col7: int,B::col8: int,B::col9: int}"则要把X.col3换成X::col3;如果是A:{(col1: int,col2: int,col3: int,col4: int)},则不能带A这个关系,因此当操作的是一个bag时,要带上这个bag的标识,如在group by后要带上bag引用,而简单的FLTER不能带上关系名。
同时,在FOREACH时,每个元素都是一个bag,这时对bag的字段操作要带上操作引用如B.c。

   

posted @ 2013-02-19 17:17  成金之路  阅读(1120)  评论(0编辑  收藏  举报