dremio 26 版本一些问题

在体验了新版本dremio 之后,还是有一些问题的,以下时候一个问题整理

问题

  • rest catalog 被放到企业版了,刚开始没注意,然后结果源码看发现的确是移除了,但是代码实际上部分还在,就是一些实现调整为了抽象类了,机制上可以自己扩展 (当然使用nessie 也是一个可选的rest catalog)

  • 反射最大数500的问题,此参数系统参数可以配置,但是部分参数硬编码了

参考处理,实际和以前代码是类似的,这些参数我们可以通过配置变通

    long maxAllowed = getOptionManager().getOption(MAX_NUM_REFLECTIONS_LIMIT);
    if (getOptionManager().getOption(MAX_NUM_REFLECTIONS_LIMIT_ENABLED)
        && userStore.getNumAllNotDeleted() >= maxAllowed) {
      throw UserException.validationError()
          .message("Maximum number of allowed reflections exceeded (%d)", maxAllowed)
          .buildSilently();
    }

尽管可以设置,但是界面上接口似乎还是500

  • nessis source 路径问题

此问题是社区有人反馈的

说明

当然以上是一个目前发现的问题,对于limit 限制估计还会有其他的,实际升级还是建议谨慎处理,先分析影响

参考资料

https://docs.dremio.com/current/data-sources/lakehouse-catalogs/iceberg-rest-catalog/

https://docs.dremio.com/current/release-notes/version-260-release

posted on 2025-05-02 18:03  荣锋亮  阅读(45)  评论(0)    收藏  举报

导航