摘要： nvl函数：当第一个参数为空时，返回第二个参数，当第一个参数不为空时，返回第一个参数； cast函数：将某种数据类型显示转换为另一种数据类型； coalesce函数：返回传入的参数中第一个不为空的值； 阅读全文

摘要： 1.尽可能复用RDD 2.对多次使用的RDD进行持久化（cache、persist，持久化的几种策略：MEMORY_ONLY、MEMORY_AND_DISK、DISK_ONLY...等） 3.(类似mapjoin)对于大RDD join 小RDD的情况，可以使用广播变量的方式把小RDD的数据发送到各 阅读全文

摘要： kafka消息传递的三种语义： 1、at least once(至少一次语义)：消息至少消费一次，数据不丢失， 但是数据可能重复； 2、at most once (最多一次语义)：消息最多消费一次，数据不重复， 单数数据可能丢失； 3、exactly once (精确一次语义)：数据不重复也不丢失。 阅读全文