摘要:
工作流会签或签的实现(基于flowable6.8.0) 一、 任务分配和流程变量 Flowable使用UEL进行表达式解析。UEL代表Unified Expression Language,是EE6规范的一部分.Flowable支持两种UEL表达式: UEL-value 和UEL-method。 1 阅读全文
摘要:
关于flowable(6.8.0)一些关键表和关键参数的记录 一、关键字(我在项目中接触比较多的flowable实体类)后续待补充。。。。 静态关键字 描述 flowelement 流程模型中的节点是一个event,线也是一个event model 表示存储在模型存储库中的模型。此外,还可以在单独的 阅读全文
摘要:
YarnCoarseGrainedExecutorBackend源码分析 我们在applicationMaster中,发现他从rm申请了容器列表,经过一番筛选,遍历需要的容器然后联系nm去启动容器,在容器中又发现了他又开启了一个java线程,启动了YarnCoarseGrainedExecutorB 阅读全文
摘要:
ApplicationMaster源码分析 我们从sparksubmit的源码中发现,当创建rmclient之后,我们在nm中启动了一个java进程applicationmaster val amClass = if (isClusterMode) { Utils.classForName("org 阅读全文
摘要:
SparkSubmit提交流程分析 tips:分析基于如下执行命令开始 ./spark-submit \ --class org.apache.spark.examples.SparkPi \ --master yarn \ --deploy-mode cluster \ ./examples/ja 阅读全文
摘要:
查询和 DDL 执行 reduce端优化 计算reduce数的公式: N=min(参数2,总输入数据量/参数1), 即默认一个reduce处理1G数据量 set mapred.reduce.tasks=10 mapred.reduce.tasks 默认值:-1 添加于:Hive 0.1.0 每个作业 阅读全文
摘要:
ClickHouse安装文档 1.时间同步、ssh免密通信、域名映射、jdk(高可用版本需要安装zookeeper)、取消 SELINUX、关闭防火墙 2.CentOS7 打开文件数限制: 在 /etc/security/limits.conf 这个文件的末尾加入一下内容: sudo vim /et 阅读全文
摘要:
mysql窗口函数及用法 首先推荐:MYSQL窗口函数 - 知乎 (zhihu.com)这篇文章,写得非常详细 **含义:**窗口函数也叫OLAP函数(Online Anallytical Processing,联机分析处理),可以对数据进行实时分析处理。 tips: 例子来源于leetcode o 阅读全文
摘要:
本人是一个刚学spark的萌新,原理的东西没办法弄得很明白,但是希望在解决方法上能给予你们一点帮助。 ###udaf(UserDefinedAggregateFunction),通过继承 UserDefinedAggregateFunction 来实现用户自定义弱类型聚合函数。从 Spark3.0 阅读全文