2016年9月1日
spark结构化数据处理：Spark SQL、DataFrame和Dataset
摘要： 本文讲解Spark的结构化数据处理，主要包括：Spark SQL、DataFrame、Dataset以及Spark SQL服务等相关内容。本文主要讲解Spark 1.6.x的结构化数据处理相关东东，但因Spark发展迅速(本文的写作时值Spark 1.6.2发布之际，并且Spark 2.0的预览版本 阅读全文
posted @ 2016-09-01 22:58 XGogo 阅读(10585) 评论(1) 推荐(0)
Spark踩坑记——数据库（Hbase+Mysql）转
摘要： 转自：http://www.cnblogs.com/xlturing/p/spark.html 前言 在使用Spark Streaming的过程中对于计算产生结果的进行持久化时，我们往往需要操作数据库，去统计或者改变一些值。最近一个实时消费者处理任务，在使用spark streaming进行实时的数 阅读全文
posted @ 2016-09-01 10:04 XGogo 阅读(3600) 评论(0) 推荐(0)