摘要: 今天遇到一个现场问题,任务报错java.io.InvalidClassException。在开发环境是没有报错的,正式环境报错。大概类似于下面这样(非报错原文,摘自网上同类博客) java.io.InvalidClassException: com.test.Test; local class in 阅读全文
posted @ 2019-10-21 16:29 梦里繁花 阅读(4666) 评论(0) 推荐(0) 编辑
摘要: 本篇主要是记录自己在中解决RDD编程性能问题中查阅的论文博客,为我认为写的不错的建立索引方便查阅,我的总结会另立他篇 1)通过分区(Partitioning)提高spark性能https://blog.csdn.net/qq_32649581/article/details/83029852 2)D 阅读全文
posted @ 2019-10-21 11:39 梦里繁花 阅读(248) 评论(0) 推荐(0) 编辑
摘要: hivesql中max,min函数不能作用于多列,因此在有上下门限区间限制时多用公式直接计算。 max(x,y)=(x+y+ABS(x-y))/2 min(x,y)=(x+y-ABS(x-y))/2 若x<a<y x,y为上下门限,a<x则取x,a>y则取y,否则取a min(max(a,x),y) 阅读全文
posted @ 2019-10-21 10:48 梦里繁花 阅读(1098) 评论(0) 推荐(0) 编辑