摘要：DataFrame、大数据、优化、Scala、coalesce、repartition 阅读全文

摘要：Scala 学习笔记 阅读全文

摘要：Spark 开发环境搭建，包括IDEA、Scala、Svn、SBT、Java等安装配置 阅读全文

摘要：Spark处理后的结果数据resultDataFrame可以有多种存储介质，比较常见是存储为文件、关系型数据库，非关系行数据库。 各种方式有各自的特点，对于海量数据而言，如果想要达到实时查询的目的，使用HBase作为存储的介质是非常不错的选择。 现需求是：Spark对Hive、mysql数据源进行处 阅读全文

摘要：Spark：DataFrame写文件，追加，覆盖 阅读全文

摘要：Spark将DataFrame进行一些列处理后，需要将之写入mysql，下面是实现过程 1.mysql的信息 mysql的信息我保存在了外部的配置文件，这样方便后续的配置添加。 1 //配置文件示例： 2 [hdfs@iptve2e03 tmp_lillcol]$ cat job.propertie 阅读全文

摘要：Spark:读取mysql作为DataFrame进行数据分析 阅读全文