随笔分类 -  Spark

Spark 相关文章
摘要:Spark:DataFrame写文件,追加,覆盖 阅读全文
posted @ 2018-10-16 16:05 lillcol 阅读(26348) 评论(0) 推荐(0)
摘要:Spark将DataFrame进行一些列处理后,需要将之写入mysql,下面是实现过程 1.mysql的信息 mysql的信息我保存在了外部的配置文件,这样方便后续的配置添加。 1 //配置文件示例: 2 [hdfs@iptve2e03 tmp_lillcol]$ cat job.propertie 阅读全文
posted @ 2018-10-16 11:23 lillcol 阅读(10178) 评论(1) 推荐(0)
摘要:Spark:读取mysql作为DataFrame进行数据分析 阅读全文
posted @ 2018-10-16 10:12 lillcol 阅读(7681) 评论(0) 推荐(0)