随笔分类 -  Spark

摘要：Spark提供的JdbcRDD很不好用，没法指定命名参数，而且必须要提供两个Long类型的参数表示分区的范围，如果数据表没有long类型的字段或者不需要条件，那就不能用JdbcRDD了。这里我简单重写了一个GenericJdbcRDD，支持命名参数和分区，仅仅作为参考哦。 项目结构如下： GenericJdbcRDD.scala package yay.jdbc.rdd im... 阅读全文

摘要：参考：http://dataknocker.github.io/2014/11/12/idea%E4%B8%8Adebug-spark-standalone/转载请注明来自：http://www.cnblogs.com/yuananyun/p/4265706.html研究Spark源码也有一段时间了... 阅读全文