随笔分类 -  Spark

摘要：SparkContext 通常作为入口函数，可以创建并返回一个RDD。 如把Spark集群当作服务端那Spark Driver就是客户端，SparkContext则是客户端的核心； 如注释所说 SparkContext用于连接Spark集群、创建RDD、累加器（accumlator）、广播变量（br 阅读全文

摘要：Step0:安装好Java ，jdk Step1：下载好: Step2: 将解压后的hadoop和spark设置好环境变量： 在系统path变量里面+： Step3： 使用pip安装 py4j ： pip install py4j 如果没装pip那就先装一下 例程：wordcount.py 运行wo 阅读全文