spark - 随笔分类 - 充实自己

摘要：1、countByValue 2、zip 阅读全文

posted @ 2017-08-24 16:04 充实自己阅读(298) 评论(0) 推荐(0)

摘要：val rawData = sc.textFile("/user/zhaoja/test/input/xxt.txt") val data = rawData.map { line => val values = line.split(',').map(_.toDouble) //创建向量 val featureVector = Vectors.dense(values.init)... 阅读全文

posted @ 2017-08-16 15:41 充实自己阅读(96) 评论(0) 推荐(0)

scala map和flatMap

摘要：map和flatMap flatMap类型需要一致阅读全文

posted @ 2017-08-04 19:07 充实自己阅读(925) 评论(0) 推荐(0)

scala 异常

摘要：异常捕捉阅读全文

posted @ 2017-08-04 19:03 充实自己阅读(163) 评论(0) 推荐(0)

scala 常用方法

摘要：1、take 获取前n条记录 2、reverse 反转列表 3、tail 获取列表去除行首 4、filter 过滤 5、init 除去最后一个元素 6、last 获取最后一个元素 7、randomSplit 数据分割 8、yield 生成集合阅读全文

posted @ 2017-07-24 11:35 充实自己阅读(2153) 评论(0) 推荐(0)

map和flatMap

摘要：map对每个元素进行映射阅读全文

posted @ 2017-07-14 16:20 充实自己阅读(333) 评论(0) 推荐(0)

spark mapPartitions

摘要：spark mapPartitions 阅读全文

posted @ 2017-07-05 14:52 充实自己阅读(147) 评论(0) 推荐(0)

随笔分类 - spark