2016年6月30日
Spark学习笔记总结-超级经典总结
摘要： Spark简介 spark 可以很容易和yarn结合，直接调用HDFS、Hbase上面的数据，和hadoop结合。配置很容易。 spark发展迅猛，框架比hadoop更加灵活实用。减少了延时处理，提高性能效率实用灵活性。也可以与hadoop切实相互结合。 spark核心部分分为RDD。Spark S 阅读全文
posted @ 2016-06-30 20:22 XGogo 阅读(8796) 评论(0) 推荐(0)
spark操作HBASE
摘要： 转：https://gist.github.com/wuchong/95630f80966d07d7453b#file-hbasenewapi-scala http://wuchong.me/blog/2015/04/04/spark-on-yarn-cluster-deploy/ 阅读全文
posted @ 2016-06-30 20:12 XGogo 阅读(5541) 评论(0) 推荐(0)
Spark: Best practice for retrieving big data from RDD to local machine
摘要： 've got big RDD(1gb) in yarn cluster. On local machine, which use this cluster I have only 512 mb. I'd like to iterate over values in RDD on my local 阅读全文
posted @ 2016-06-30 20:03 XGogo 阅读(756) 评论(0) 推荐(0)