2019年8月17日
摘要: 前言 a.spark可以用三种不同的语言编写:scala,python和java,相比于其他两种语言,scala的性能较好。 ps:scala也是基于jvm的一种语言,有些地方效率比java更高。 b.函数式编程 Spark依赖于函数式编程,使用函数作为基本编程输入,函数没有状态或副作用,只包含输入 阅读全文
posted @ 2019-08-17 00:54 WU大雄 阅读(162) 评论(0) 推荐(0)
摘要: 1.安装过程 在/opt目录下安装spark集群 在conf下面的slaves.template(slave:主从),复制一份变为slaves,把从节点的主机名搞进去 配置etc/profile,source一下 几台机子之间还得搞一下免密登录。配置好免密登录启动即可 standalone用的是ma 阅读全文
posted @ 2019-08-17 00:21 WU大雄 阅读(169) 评论(0) 推荐(0)