访问次数
我的另一个总结性博客: todototry 大米粒
摘要: 如何在本地使用scala或python运行Spark程序 包含两个部分: 一,scala在本地能成功调用并运行spark接口的主要原理: 二、scala的编译与打包运行 三、python在本地能成功调用并运行spark接口的主要原理如下, 首先,依赖以下几个环境: 四、本地python调spark的 阅读全文
posted @ 2019-11-30 14:01 fandyst 阅读(4113) 评论(0) 推荐(1) 编辑
摘要: Mac OSX系统中Hadoop / Hive 与 spark 的安装与配置 环境搭建 记录 Hadoop 2.6 的安装与配置(伪分布式) 下载并解压缩 配置 .bash_profile : export HADOOP_HOME=/Users/fan/Applications/hadoop-2.6 阅读全文
posted @ 2019-11-30 14:00 fandyst 阅读(795) 评论(0) 推荐(0) 编辑