2019年1月5日
Spark参数详解 一（Spark1.6）
摘要： Spark、调优、参数总结 阅读全文
posted @ 2019-01-05 10:26 lillcol 阅读(1288) 评论(0) 推荐(0)
2018年11月1日
Spark源码系列:RDD repartition、coalesce 对比
摘要： RDD,重新分区，repartition,coalesce,Spark,大数据,源码 阅读全文
posted @ 2018-11-01 17:14 lillcol 阅读(2665) 评论(0) 推荐(0)
2018年10月31日
Spark源码系列:DataFrame repartition、coalesce 对比
摘要： DataFrame、大数据、优化、Scala、coalesce、repartition 阅读全文
posted @ 2018-10-31 19:06 lillcol 阅读(10151) 评论(0) 推荐(2)
2018年10月30日
Scala:类和对象
摘要： Scala 学习笔记 阅读全文
posted @ 2018-10-30 19:26 lillcol 阅读(437) 评论(0) 推荐(0)
2018年10月17日
Spark开发环境搭建（IDEA、Scala、SVN、SBT）
摘要： Spark 开发环境搭建，包括IDEA、Scala、Svn、SBT、Java等安装配置 阅读全文
posted @ 2018-10-17 16:50 lillcol 阅读(2669) 评论(0) 推荐(0)
2018年10月16日
Spark：DataFrame批量导入Hbase的两种方式(HFile、Hive)
摘要： Spark处理后的结果数据resultDataFrame可以有多种存储介质，比较常见是存储为文件、关系型数据库，非关系行数据库。 各种方式有各自的特点，对于海量数据而言，如果想要达到实时查询的目的，使用HBase作为存储的介质是非常不错的选择。 现需求是：Spark对Hive、mysql数据源进行处 阅读全文
posted @ 2018-10-16 18:20 lillcol 阅读(4110) 评论(0) 推荐(0)
Spark:DataFrame 写入文本文件
摘要： Spark：DataFrame写文件，追加，覆盖 阅读全文
posted @ 2018-10-16 16:05 lillcol 阅读(26345) 评论(0) 推荐(0)
Spark:将DataFrame写入Mysql
摘要： Spark将DataFrame进行一些列处理后，需要将之写入mysql，下面是实现过程 1.mysql的信息 mysql的信息我保存在了外部的配置文件，这样方便后续的配置添加。 1 //配置文件示例： 2 [hdfs@iptve2e03 tmp_lillcol]$ cat job.propertie 阅读全文
posted @ 2018-10-16 11:23 lillcol 阅读(10170) 评论(1) 推荐(0)
Spark:读取mysql数据作为DataFrame
摘要： Spark:读取mysql作为DataFrame进行数据分析 阅读全文
posted @ 2018-10-16 10:12 lillcol 阅读(7677) 评论(0) 推荐(0)