百里登风

导航

2017年8月11日

Spark 编程模型(中)

摘要： 先在IDEA新建一个maven项目 我这里用的是jdk1.8,选择相应的骨架 这里选择本地在window下安装的maven 新的项目创建成功 我的开始pom.xml文件配置 先在终端下试下打包 可以看到失败了！！！ 把这几个生成默认的东西删除掉 再次测试 成功了 把他clean一下 进入自己在虚拟机 阅读全文

posted @ 2017-08-11 23:06 百里登峰 阅读(284) 评论(0) 推荐(0)

Spark 编程模型(上)

摘要： Spark的编程模型 核心概念（注意对比MR里的概念来学习） Spark Application的组成 Spark Application基本概念 Spark Application编程模型 回顾scala版本的 wordcount程序 初识RDD 什么是RDD RDD接口 RDD的本质特征 RDD 阅读全文

posted @ 2017-08-11 18:18 百里登峰 阅读(261) 评论(0) 推荐(0)