摘要：我们通常会使用IDE（例如Intellij IDEA）开发Spark应用，而程序调试运行时会在控制台中打印出所有的日志信息。它描述了（伪）集群运行、程序执行的所有行为。 在很多情况下，这些信息对于我们来说是无关紧要的，我们更关心的是最终结果，无论是正常输出还是异常停止。 幸运的是，我们可以通过log 阅读全文

摘要：在使用org.apache.spark.sql.functions中的Window functions过程中，遇到了几个棘手的问题，经过不断搜寻和多次试验，终于找到了解决方法。首先看例子：import org.apache.spark.rdd.RDDimport org.apache.spark.s... 阅读全文

摘要：Spark提供WebUI可以实时查看Application的运行状态。但是当你想用WebUI查看任意completed applications的运行历史记录时，可能会在浏览器中显示如下信息 这主要是由于没有设置eventLog.dir所导致的。提到eventLog.dir，就要说到Spark History Server，通过配置History Server，可以在application执行的... 阅读全文

摘要：今天碰到一个问题，需要通过JDBC链接数据库，使用Spark读取并处理数据，想到使用JdbcRDD，JdbcRDD的类定义如下private[spark] class JdbcPartition(idx: Int, val lower: Long, val upper: Long) extends ... 阅读全文

摘要：Spark读入本地文件后，成为MapPartitionsRDD，可以使用zipWithIndex，转换成ZippedWithIndexRDD：查看结果，每一行变为二元组“（内容，索引）”，索引从0开始：(# Apache Spark,0)("",1)(Spark is a fast and gene... 阅读全文

摘要：在该语句之前加上repartition(1)，即写作以下形式：rdd.repartition(1).saveAsTextFile("out.txt")即，之前每个partition保存成一个txt文件，现repartition成一个分区，然后再保存。注意（未验证）：这个操作对于大文件来说，repar... 阅读全文

摘要：注：1. 编译Spark之前，需要搭建Java和Scala环境，参见http://www.cnblogs.com/kevingu/p/4418779.html。 2. Spark之前使用sbt进行编译，现在建议使用maven并兼容sbt，但会逐步淘汰sbt编译方式。本文使用Maven工具编译Spar... 阅读全文