Calcite分析 -- SortRemoveRule

Calcite Version:1.26.0

 

Rule执行之前的情况,

对#19,apply SortRemoveRule

 

#19的input是rel#13:RelSubset#2.NONE.[]

这里就是将Sort中的,collation,放到RelSubset#2.NONE.[]的input上去,从而后续可以move掉这个sort

这里的逻辑看,只要是不带offset和fetch的sort,都会remove掉

完整的过程是,logicalSort with limit,通过EnumerableRule,生成一个新的sort算子和Limit算子;然后再用SortRemoveRule,将这个生成的sort remove掉。

 

convet的结果,就生成一个带collation的subset,

 

然后再用,rel#23:RelSubset#2.NONE.[0 DESC-nulls-last]调用transformTo

在ensureRegistered中,有RelSet的Merge

equivRel,是触发这个rule的算子,

这里触发merge的条件,是传入的rel和equiRel的subset都存在,并且他们的relset还不同

tranform这里的逻辑,一般两种,

convert,生成新的Relnode,transform,这种情况下传入的RelNode是还未注册的,不需要merge

convert,transform,这种情况下传入的就是Subset,但是一般Rule都是把当前Relset中的node做转换,所以也不需要merge

这里的情况,Convert的参数是sort.getInput,所以转换的别的RelSet中的Subset,这就需要merge

 

Merge

 

Merge With

先remove

 

复制subset

其实就是在新的RelSet中,重新创建相应的traitSet的subset,这里需要区分required参数

 

复制RelNode

 

 reregister,主要是调用addReltoSet

 

 结果,

 

其他的处理,

对于parent,需要调用fixInput,然后重新算digest,

 

最后对于,merge完的RelNode和Subset,做一下firerules,

 

ruleDriver.onSetMerged(set)

如果一个RelSet merge了其他的RelSet,

那么需要把他下面的subset,以及所有ancestor的subset的Optimize状态给clear掉,这样可以重新优化一遍

同时这个RelSet的exploringState也会被设置成null

ancestor的意思是parent,当前的优化变动只会影响到后续优化,但在已优化的子集不会影响

 

 

看下clear之前的状态,

首先Clear的Relset@5532

 

 

parent对应的RelSet是,5577,情况和5532正好相反,

Subset都在优化中,但是RelSet的exploringState为null,

 

 

 

RelSubset.taskState和RelSet.exploringState,代表什么?

taskState,两种状态,

/** State of optimizer. */
enum OptimizeState {
OPTIMIZING,
COMPLETED
}

分别在OptimizeGroup Task和GroupOptimized Task中被设置

 

exploringState,也是两种状态,

/**
* An enum representing exploring state of current RelSet.
*/
enum ExploringState {
/**
* The RelSet is exploring.
* It means all possible rule matches are scheduled, but not fully applied.
* This RelSet will refuse to explore again, but cannot provide a valid LB.
*/
EXPLORING,

/**
* The RelSet is fully explored and is able to provide a valid LB.
*/
EXPLORED
}

在ExploreInput Task中会设置成Exploring,在EnsureGroupExplored中设置成Explored

不是Explored,可以触发OptimizeMExpr Task;是Null可以触发ExploreInput Task

 

再看回前面的逻辑,

首先会把两个state都清空了,那么意味着对于这个Subset,可以继续调度OptimizeMExpr或OptimizeGroup

只要两个任意一个原先不为null,就需要继续clear parent

 

所以最终结果是,两个RelSet的相应flag都被清掉

 

这里最后,当遍历到rel#16:RelSubset#3.ENUMERABLE.[0 DESC-nulls-last],这个是root,按逻辑所以触发生成OptimizeGroup

why?

对于其他的RelSet,把taskState设置掉,就会有机会被重新优化,但对于root,你必须显式的触发OptimizeGroup,否则没机会被再次优化

 

posted on 2021-09-02 20:03  fxjwind  阅读(174)  评论(0编辑  收藏  举报