2018年11月14日
RDD（弹性分布式数据集）的分析
摘要： RDD：Resilient Distributed Dataset(弹性分布式数据集)弹性：数据集的可恢复型原因：在分布式环境下，运算节点很容易出问题，会造成数据的丢失，rdd可以在数据丢失的背景下恢复数据。数据恢复的技术：1.基本备份2.基于日志（hadoop na... 阅读全文
posted @ 2018-11-14 17:41 IT晓白 阅读(380) 评论(0) 推荐(0)
Spark 开发环境搭建
摘要： 1.创建maven工程创建project--Java创建module--maven2.添加依赖 org.apache.spark spark-core_2.11 2.3.0 ... 阅读全文
posted @ 2018-11-14 17:39 IT晓白 阅读(155) 评论(0) 推荐(0)