2017年5月18日

linux里date的使用

摘要： 1.获取现在的时间 1.1当前时间 >>date Thu May 18 10:39:41 CST 2017 >>date +%s 1495075680 1.2当前日期 >>date +"%Y%m%d" 20170518 >>date +"%Y-%m-%d" 2017-05-18 其他格式的看附录，或 阅读全文

posted @ 2017-05-18 14:51 Luis_Yao 阅读(7561) 评论(0) 推荐(0) 编辑

2017年5月5日

Spark聚合操作-reduceByKey、groupByKey、combineBykey的使用与比较

摘要： 聚合操作是spark运算中特别常见的一种行为。比如分析用户一天的活着一次登陆的行为，就要把日志按用户id进行聚合，然后做排序、求和、求平均之类的运算……而spark中对于聚合操作的蒜子也比较丰富，本文主要结合作者个人的经验和网上资料，对这几个算子进行整理和比较。 这里，一般都是对Pair RDD 进 阅读全文

posted @ 2017-05-05 15:28 Luis_Yao 阅读(8474) 评论(0) 推荐(1) 编辑

导航