Spark - 随笔分类 - zz.fish

spark sql 的基本用法（python）

摘要：1、初始化： a)声明： from pyspark import SparkContext, SparkConf from pyspark.sql import HiveContext, Row from pyspark.sql import SQLContext, Row from pyspark 阅读全文

posted @ 2017-04-24 15:46 zz.fish 阅读(833) 评论(0) 推荐(0)

spark streaming 实现 wordcount 实时统计

摘要：1、pom.xml: 注意：此处spark-streaming的依赖试了很多版本，都不好用，最终调试成功的为下面代码中所使用的版本。 <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-s 阅读全文

posted @ 2017-03-31 14:33 zz.fish 阅读(736) 评论(0) 推荐(0)

Spark在Windows下的安装

摘要：一、下载：官网下载spark-2.0.1-bin-hadoop2.7(http://spark.apache.org/downloads.html)的安装包；二、安装： spark解压缩，同时增加环境变量：%SPARK_HOME%：spark存放位置；PATH里增加：%SPARK_HOME%/b 阅读全文

posted @ 2016-10-28 10:46 zz.fish 阅读(326) 评论(0) 推荐(0)

随笔分类 - Spark

公告