摘要: 建议git本身日常的代码提交工作建议使用命令行,涉及修改对比等再用图形化工具 1、打开git 命令行工具 在pull下来的git工程目录,右键git Bash Here 2、打开git TortoiseGit 的差异对比 在pull下来的git工程目录,右键TortoiseGit --差异对比(英文 阅读全文
posted @ 2020-01-08 10:01 梦里繁花 阅读(119) 评论(0) 推荐(0) 编辑
摘要: 该问题先标记上,之后有空了研究原因。 在var dataframe后将dataframe作为参数输入某方法,将结果重新赋予该dataframe,会导致spark运行显著减慢速度。暂时不知道原因,之后研究(可以去stackoverflow提问)将数据来源改为val之后运行速度显著提高。超过100倍速度 阅读全文
posted @ 2019-12-14 19:14 梦里繁花 阅读(405) 评论(0) 推荐(0) 编辑
摘要: 1、无必要,则不重命名,保持变量名称、意义一致 2、确保代码、配置文件、说明文档唯一性 务必保证调用配置文件唯一性,同样意义的东西,不要让开发人员在多处重复定义(多出现于应用有不同版本同时开发,不同版本配置文件位置各不相同时) 阅读全文
posted @ 2019-12-05 15:14 梦里繁花 阅读(100) 评论(0) 推荐(0) 编辑
摘要: 今天一个生产环境任务出现了性能问题,,经过仔细检查发现是在一个join操作时,原设定广播右表数据广播失败,导致后续步骤进行缓慢,,报错信息 java.io.IOException: org.apache.spark.SparkException:Failed to get broadcast_544 阅读全文
posted @ 2019-11-05 11:17 梦里繁花 阅读(1106) 评论(0) 推荐(0) 编辑
摘要: COALESCE (expression_1, expression_2, ...,expression_n)依次参考各参数表达式,遇到非null值即停止并返回该值。如果所有的表达式都是空值,最终将返回一个空值。 如果需要对某列为空时赋予默认值,常使用COALESCE(a,10) a为列名,10为默 阅读全文
posted @ 2019-10-23 09:40 梦里繁花 阅读(2859) 评论(0) 推荐(0) 编辑
摘要: 今天遇到一个现场问题,任务报错java.io.InvalidClassException。在开发环境是没有报错的,正式环境报错。大概类似于下面这样(非报错原文,摘自网上同类博客) java.io.InvalidClassException: com.test.Test; local class in 阅读全文
posted @ 2019-10-21 16:29 梦里繁花 阅读(3726) 评论(0) 推荐(0) 编辑
摘要: 本篇主要是记录自己在中解决RDD编程性能问题中查阅的论文博客,为我认为写的不错的建立索引方便查阅,我的总结会另立他篇 1)通过分区(Partitioning)提高spark性能https://blog.csdn.net/qq_32649581/article/details/83029852 2)D 阅读全文
posted @ 2019-10-21 11:39 梦里繁花 阅读(219) 评论(0) 推荐(0) 编辑
摘要: hivesql中max,min函数不能作用于多列,因此在有上下门限区间限制时多用公式直接计算。 max(x,y)=(x+y+ABS(x-y))/2 min(x,y)=(x+y-ABS(x-y))/2 若x<a<y x,y为上下门限,a<x则取x,a>y则取y,否则取a min(max(a,x),y) 阅读全文
posted @ 2019-10-21 10:48 梦里繁花 阅读(659) 评论(0) 推荐(0) 编辑