玩转大数据spark

导航

004-For与Function进阶实战、Lazy的使用

 

004-For与Function进阶实战、Lazy的使用

For进阶

                   

非常常见的形式

                   

可以加入条件表达式进行数据过滤

Function进阶

函数是有值的(默认的话为Unit),所以可以直接将结果赋值给变量

=>(可理解为做法)匿名函数的使用

                   

只对函数的做法关心并不关心函数的名字

匿名函数执行方法

函数的值赋值给一个变量

通过变量的名称加上()(括号进行函数传值)

递归调用时候必须要声明函数的返回值类型

                   

函数中参数的默认初始化

                   

如果在调用中传递参数的值会覆盖掉初始化的值

可变参数的定义

                   

Lazy的使用

                   

lazy变量只有真正在变量使用的时候才会进行编译检查

意义

延迟执行,数据处理的步骤要对数据进行迭代的计算,可看到更多的步骤,方便进行优化

 

欢迎广大爱好者学习交流.也欢迎广大学习爱好者加入

DT大数据梦工厂交流群:462923555

DT大数据微信公众账号:DT_Spark 

视频观看链接

http://www.tudou.com/plcover/Yy5F5gsurSE/

 

posted on 2015-07-11 21:47  玩转大数据spark  阅读(181)  评论(0编辑  收藏  举报