hapoyige

摘要： 记得原来看到一个类似官方文档的quick start页面，我是照着它写的，但找不到了，如果有人告诉我将十分感谢。 Why SQL 以下只代表本人的理解。 可以支持SQL的一系列数据库操作是Spark的一大特性，当数据量很大时，传统的单机数据库无法负载。Spark可以把文件的数据内容读到内存中进行操作 阅读全文

摘要： 背景说明 实习期间需要使用Spark处理一些集群上的数据，其实Spark是基于Scala语言的（和Java比较接近），但我是Python用的多，况且Spark2.0之后对Python的支持友好了许多，于是我就使用PySpark来学习了。 因为是直接使用现有的集群，这里不会涉及配置spark环境的问题 阅读全文