2016 年 8月 3 日随笔档案 - Riordon

Spark RDD设计学习笔记

摘要：本文档是学习RDD经典论文《Resilient Distributed Datasets: A Fault Tolerant Abstraction for In Memory Cluster Computing》的学习笔记。 date：2016/8/3 author：wangxl 1 引言一种分阅读全文

posted @ 2016-08-03 18:30 Riordon 阅读(629) 评论(0) 推荐(0)

经典译文收集

摘要：本文档主要收集大数据技术相关经典文章(译文)，经典读10遍胜于普通文章读千万篇。 "1.RDD：基于内存的集群计算容错抽象" "2.大型集群上的快速和通用数据处理架构" 阅读全文

posted @ 2016-08-03 15:30 Riordon 阅读(200) 评论(0) 推荐(0)

Spark配置&启动脚本分析

摘要：本文档基于Spark2.0，对spark启动脚本进行分析。 date：2016/8/3 author:wangxl Spark配置&启动脚本分析我们主要关注3类文件，配置文件，启动脚本文件以及自带shell。 1 文件概览 conf/ ├── docker.properties.template 阅读全文

posted @ 2016-08-03 11:39 Riordon 阅读(8473) 评论(0) 推荐(0)