2015年12月21日

Spark相关错误汇总
摘要： 前面介绍了Spark开发环境的搭建，下面将在实际开发过程中遇到的一些问题汇总一下：1、Exception in thread "main" com.typesafe.config.ConfigException$Missing: No configuration setting found for ... 阅读全文
posted @ 2015-12-21 16:52 ljy2013 阅读(1686) 评论(0) 推荐(0) 编辑
 
Spark External Datasets
摘要： Spark能够从任何支持Hadoop的存储源来创建RDD，包括本地的文件系统，HDFS，Cassandra，Hbase，Amazon S3等。Spark支持textFile、SequenceFiles和任何其他的Hadoop的InputFormat格式的数据。1、textfile的RDD可以通过... 阅读全文
posted @ 2015-12-21 15:34 ljy2013 阅读(544) 评论(0) 推荐(0) 编辑