spark RDD transformation的filter、distinct、union --(视频笔记)

filter

f:T->Boolean
为true则保留,为false则丢弃。产生filter后的RDD

distinct
去除重复元素

cartesian
笛卡尔积

union
单纯合并两个RDD,并不会去重。

posted @ 2015-12-29 14:12  逸新  阅读(540)  评论(0编辑  收藏  举报