随笔分类 -  Spark

spark读取hbase数据，如果表存在则删除表然后新建表，如果表不存在则新建表。
只有注册用户登录后才能阅读该文。
posted @ 2017-04-17 08:59 强迫症重症患者 阅读(1) 评论(0) 推荐(0)
spark读取hbase数据，如果表存在则不做任何操作，如果表不存在则新建表。
摘要：import java.text.SimpleDateFormat import java.util.Date import org.apache.hadoop.hbase.{HColumnDescriptor, HTableDescriptor, HBaseConfiguration} import org.apache.hadoop.hbase.client.{HBaseAdmin, Pu... 阅读全文
posted @ 2017-04-17 08:47 强迫症重症患者 阅读(673) 评论(0) 推荐(0)
map与flatMap的区别
摘要：spark版本：spark 2.0.2 scala版本：2.11.8 服务器版本：CentOS 6.7 对比map和flatMap在RDD中的使用： 阅读全文
posted @ 2017-02-08 14:45 强迫症重症患者 阅读(8243) 评论(0) 推荐(1)
spark TopN问题：dataframe和RDD比较
摘要：spark版本：spark 2.0.2 scala版本：2.11.8 服务器版本：CentOS 6.7 spark TopN问题，其实就是分组、排序、组内取值问题。 在shell下输入 进入spark后输入以下命令： 参考资料： http://stackoverflow.com/questions/ 阅读全文
posted @ 2017-02-08 13:42 强迫症重症患者 阅读(544) 评论(0) 推荐(0)