摘要：
摘要：学习SparkStreaming从官网的编程指南开始，由于Python编码修改方便不用打包，这里只整理python代码！ 一、概述 Spark Streaming 是 Spark Core API 的扩展, 它支持弹性的, 高吞吐的, 容错的实时数据流的处理。数据可以通过多种数据源获取, 例如 阅读全文
随笔分类 - Spark
spark调优
2018-02-22 18:06 by 牛仔裤的夏天, 1263 阅读, 收藏,
摘要：
摘要：鉴于 Spark 基于内存计算这一天性，以下集群资源可能会造成 Spark 程序的瓶颈：CPU，带宽和内存。通常情况下，如果内存足够的情况下，瓶颈就是网络带宽，但有时，你也需要做一些优化，例如以序列化的格式存储RDD，来减少内存使用。本指南将涵盖两个主要主题：数据序列化(这对于良好的网络性能至 阅读全文
《Spark Python API 官方文档中文版》 之 pyspark.sql (四)
2018-01-31 17:49 by 牛仔裤的夏天, 16207 阅读, 收藏,
摘要：
摘要：在Spark开发中，由于需要用Python实现，发现API与Scala的略有不同，而Python API的中文资料相对很少。每次去查英文版API的说明相对比较慢，还是中文版比较容易get到所需，所以利用闲暇之余将官方文档翻译为中文版，并亲测Demo的代码。在此记录一下，希望对那些对Spark感 阅读全文
《Spark Python API 官方文档中文版》 之 pyspark.sql (三)
2017-12-01 14:35 by 牛仔裤的夏天, 13901 阅读, 收藏,
摘要：
摘要：在Spark开发中，由于需要用Python实现，发现API与Scala的略有不同，而Python API的中文资料相对很少。每次去查英文版API的说明相对比较慢，还是中文版比较容易get到所需，所以利用闲暇之余将官方文档翻译为中文版，并亲测Demo的代码。在此记录一下，希望对那些对Spark感 阅读全文
《Spark Python API 官方文档中文版》 之 pyspark.sql (二)
2017-11-04 22:13 by 牛仔裤的夏天, 13699 阅读, 收藏,
摘要：
摘要：在Spark开发中，由于需要用Python实现，发现API与Scala的略有不同，而Python API的中文资料相对很少。每次去查英文版API的说明相对比较慢，还是中文版比较容易get到所需，所以利用闲暇之余将官方文档翻译为中文版，并亲测Demo的代码。在此记录一下，希望对那些对Spark感 阅读全文
《Spark Python API 官方文档中文版》 之 pyspark.sql (一)
2017-11-04 20:59 by 牛仔裤的夏天, 31106 阅读, 收藏,
摘要：
摘要：在Spark开发中，由于需要用Python实现，发现API与Scala的略有不同，而Python API的中文资料相对很少。每次去查英文版API的说明相对比较慢，还是中文版比较容易get到所需，所以利用闲暇之余将官方文档翻译为中文版，并亲测Demo的代码。在此记录一下，希望对那些对Spark感 阅读全文
Pandas基础学习与Spark Python初探
2017-09-02 18:02 by 牛仔裤的夏天, 6209 阅读, 收藏,
摘要：
摘要：pandas是一个强大的Python数据分析工具包，pandas的两个主要数据结构Series（一维）和DataFrame（二维）处理了金融，统计，社会中的绝大多数典型用例科学，以及许多工程领域。在Spark中，python程序可以方便修改，省去java和scala等的打包环节，如果需要导出文 阅读全文
RDDs基本操作、RDDs特性、KeyValue对RDDs、RDD依赖
2017-07-28 20:21 by 牛仔裤的夏天, 2928 阅读, 收藏,
摘要：
摘要：RDD是Spark中极为重要的数据抽象，这里总结RDD的概念，基本操作Transformation(转换)与Action，RDDs的特性，KeyValue对RDDs的Transformation(转换)。 1.RDDs是什么 Resilient distributed datasets(弹性分 阅读全文
Spark认识&环境搭建&运行第一个Spark程序
2017-07-09 17:17 by 牛仔裤的夏天, 34564 阅读, 收藏,
摘要：
摘要：Spark作为新一代大数据计算引擎，因为内存计算的特性，具有比hadoop更快的计算速度。这里总结下对Spark的认识、虚拟机Spark安装、Spark开发环境搭建及编写第一个scala程序、运行第一个Spark程序。 1.Spark是什么 Spark是一个快速且通用的集群计算平台 2.Spa 阅读全文
Spark与Pandas中DataFrame对比（详细）
2016-11-08 21:52 by 牛仔裤的夏天, 2262 阅读, 收藏,
摘要：
转载自：http://www.lining0806.com/spark与pandas中dataframe比对 阅读全文
浙公网安备 33010602011771号