01 2019 档案

Spark大型电商项目实战-及其改良(3) 分析sparkSQL语句的性能影响
摘要：之前的运行数据被清除了,只能再运行一次,对比一下sparkSQL语句的影响 纯SQL的时间 对应时间表 collect at AreaTop3ProductSql.java:99 200/200 javaRDD at AreaTop3ProductSql.java:306 200/200 javaR 阅读全文
posted @ 2019-01-30 11:41 DGUT_FLY 阅读(365) 评论(0) 推荐(0)
springboot+mybatis环境的坑和sql语句简化技巧
摘要：1.springfox-swagger实体类无限递归 https://hacpai.com/article/1525674135818 里面有不完美的解决方案 不用动源码的解决方案也有，在swagger项目里的函数传入参数没有类互相包含就可以了 这也要求某些多对多关系的实体类的属性定义要仔细走关系图 阅读全文
posted @ 2019-01-29 18:42 DGUT_FLY 阅读(533) 评论(0) 推荐(0)
Spark大型电商项目实战-及其改良(2) RDD优化效果不稳定的真正原因
摘要：首先看没有map join的第2任务: 时间线如下 接着是对应id的算子计算时间表 collect at AreaTop3ProductRDD.java:353 +details 41/41 mapToPair at AreaTop3ProductRDD.java:259 +details 41/4 阅读全文
posted @ 2019-01-29 16:44 DGUT_FLY 阅读(197) 评论(0) 推荐(0)
Spark大型电商项目实战-及其改良(1) 比对sparkSQL和纯RDD实现的结果
摘要：代码存在码云:https://coding.net/u/funcfans/p/sparkProject/git 代码主要学习https://blog.csdn.net/u012318074/article/category/6744423/1这里的 发现样例作为正式项目来说效率太低了,为了知识点而知 阅读全文
posted @ 2019-01-29 15:16 DGUT_FLY 阅读(239) 评论(0) 推荐(0)