摘要: 工作流会签或签的实现(基于flowable6.8.0) 一、 任务分配和流程变量 Flowable使用UEL进行表达式解析。UEL代表Unified Expression Language,是EE6规范的一部分.Flowable支持两种UEL表达式: UEL-value 和UEL-method。 1 阅读全文
posted @ 2024-04-18 16:18 chief_y 阅读(84) 评论(0) 推荐(0) 编辑
摘要: 关于flowable(6.8.0)一些关键表和关键参数的记录 一、关键字(我在项目中接触比较多的flowable实体类)后续待补充。。。。 静态关键字 描述 flowelement 流程模型中的节点是一个event,线也是一个event model 表示存储在模型存储库中的模型。此外,还可以在单独的 阅读全文
posted @ 2024-04-17 09:44 chief_y 阅读(9) 评论(0) 推荐(0) 编辑
摘要: YarnCoarseGrainedExecutorBackend源码分析 我们在applicationMaster中,发现他从rm申请了容器列表,经过一番筛选,遍历需要的容器然后联系nm去启动容器,在容器中又发现了他又开启了一个java线程,启动了YarnCoarseGrainedExecutorB 阅读全文
posted @ 2022-08-30 10:03 chief_y 阅读(533) 评论(0) 推荐(0) 编辑
摘要: ApplicationMaster源码分析 我们从sparksubmit的源码中发现,当创建rmclient之后,我们在nm中启动了一个java进程applicationmaster val amClass = if (isClusterMode) { Utils.classForName("org 阅读全文
posted @ 2022-08-30 10:00 chief_y 阅读(37) 评论(0) 推荐(0) 编辑
摘要: SparkSubmit提交流程分析 tips:分析基于如下执行命令开始 ./spark-submit \ --class org.apache.spark.examples.SparkPi \ --master yarn \ --deploy-mode cluster \ ./examples/ja 阅读全文
posted @ 2022-07-13 15:13 chief_y 阅读(323) 评论(0) 推荐(0) 编辑
摘要: 查询和 DDL 执行 reduce端优化 计算reduce数的公式: N=min(参数2,总输入数据量/参数1), 即默认一个reduce处理1G数据量 set mapred.reduce.tasks=10 mapred.reduce.tasks 默认值:-1 添加于:Hive 0.1.0 每个作业 阅读全文
posted @ 2022-07-07 10:34 chief_y 阅读(561) 评论(0) 推荐(0) 编辑
摘要: ClickHouse安装文档 1.时间同步、ssh免密通信、域名映射、jdk(高可用版本需要安装zookeeper)、取消 SELINUX、关闭防火墙 2.CentOS7 打开文件数限制: 在 /etc/security/limits.conf 这个文件的末尾加入一下内容: sudo vim /et 阅读全文
posted @ 2021-08-03 09:38 chief_y 阅读(280) 评论(0) 推荐(0) 编辑
摘要: mysql窗口函数及用法 首先推荐:MYSQL窗口函数 - 知乎 (zhihu.com)这篇文章,写得非常详细 **含义:**窗口函数也叫OLAP函数(Online Anallytical Processing,联机分析处理),可以对数据进行实时分析处理。 tips: 例子来源于leetcode o 阅读全文
posted @ 2021-06-03 17:03 chief_y 阅读(1373) 评论(0) 推荐(0) 编辑
摘要: 本人是一个刚学spark的萌新,原理的东西没办法弄得很明白,但是希望在解决方法上能给予你们一点帮助。 ###udaf(UserDefinedAggregateFunction),通过继承 UserDefinedAggregateFunction 来实现用户自定义弱类型聚合函数。从 Spark3.0 阅读全文
posted @ 2020-12-09 11:51 chief_y 阅读(149) 评论(0) 推荐(0) 编辑