摘要: 一.场景 1.绝大多数task执行得都非常快,但个别task执行极慢。比如,总共有100个task,97个task都在1s之内执行完了,但是剩余的task却要一两分钟。这种情况很常见。 2.原本能够正常执行的Spark作业,某天突然报出OOM(内存溢出),观察异常栈,是我们写的业务代码造成的。这种情 阅读全文
posted @ 2019-01-12 18:28 云山之巅 阅读(530) 评论(0) 推荐(0) 编辑
摘要: Scala方法可以具有隐式参数列表,由参数列表开头的implicit关键字标记。如果参数列表中的参数没有像往常一样传递,Scala将查看它是否可以获得正确类型的隐式值,如果可以,将自动传递。 Scala将查找这些参数的位置分为两类: 1.Scala在调用包含有隐式参数块的方法时,将首先查找可以直接访 阅读全文
posted @ 2019-01-12 10:52 云山之巅 阅读(802) 评论(0) 推荐(0) 编辑