随笔分类 -  spark&scala

Spark使用总结与分享
摘要：背景 使用spark开发已有几个月。相比于python/hive，scala/spark学习门槛较高。尤其记得刚开时，举步维艰，进展十分缓慢。不过谢天谢地，这段苦涩（bi）的日子过去了。忆苦思甜，为了避免项目组的其他同学走弯路，决定总结和梳理spark的使用经验。 Spark基础 基石RDD spa 阅读全文
posted @ 2016-09-07 14:23 哼哼哈哈二将 阅读(887) 评论(0) 推荐(0)
Windows下IntelliJ IDEA中调试Spark Standalone
摘要：研究Spark源码也有一段时间了，一直都是直接看代码，没有调试。虽然带着思路去看源代码已经能够帮助我们去了解Spark了；但是很多细节从字面上是看不出来的，如果我能够通过运行时调试验证我的想法，或者能够查看某个类中变量和结构在运行时是什么岂不是更好？好，我们今天就来实现这个想法。 动手之前，我已经在 阅读全文
posted @ 2016-09-05 11:26 哼哼哈哈二将 阅读(5675) 评论(1) 推荐(1)
hadoop、storm和spark的区别、比较
摘要：一、hadoop、Storm该选哪一个？ 为了区别hadoop和Storm，该部分将回答如下问题：1.hadoop、Storm各是什么运算2.Storm为什么被称之为流式计算系统3.hadoop适合什么场景，什么情况下使用hadoop4.什么是吞吐量首先整体认识：Hadoop是磁盘级计算，进行计算时 阅读全文
posted @ 2016-08-15 16:53 哼哼哈哈二将 阅读(25190) 评论(2) 推荐(2)
scala class和object，trait的区别
摘要：Scala类 Scala类和java类中有些区别，在Scala声明private变量会Scala编译器会自动生成get,set,在Scala中变量是需要初始化的，如果不声明private默认是public的 object Scala中没有静态修饰符，static，在object下的成员全部都是静态的 阅读全文
posted @ 2016-08-15 15:56 哼哼哈哈二将 阅读(4178) 评论(0) 推荐(0)
Scala的=>作用
摘要：举例： var increase = (x: Int) => x + 1 increase(10) res0: Int = 11 类似于转化符号，=>指明这个函数把左边的东西（任何整数x）转变成右边的东西（x + 1）。所以，这是一个把任何整数x映射为x + 1的函数。 阅读全文
posted @ 2016-08-15 14:58 哼哼哈哈二将 阅读(456) 评论(0) 推荐(0)
[Scala函数特性系列]——按名称传递参数
摘要：通常情况下，函数的参数是传值参数；即参数的值在它被传递给函数之前被确定。但是，如果我们需要编写一个接收参数不希望马上计算，直到调用函数内的表达式才进行真正的计算的函数。对于这种情况，Scala提供按名称参数调用函数。 示例代码如下： 结果： 在代码中，如果定义函数的时候，传入参数不是传入的值，而是传 阅读全文
posted @ 2016-08-15 14:41 哼哼哈哈二将 阅读(492) 评论(0) 推荐(0)