dremio 26 版本发布

实际上dremio 26 已经大概发布了有半个月了,就在今天提供了ce版本的软件包以及docker镜像,但是目前源码暂时未提供

一些相对比较重要的新特性(ce 版)

  • arrow flight sql 支持预编译sql 了 (注意flight-sql-jdbc-driver 需要17 以及以上,目前测试是可以的)
  • copy into 支持,当前支持csv,parquet等格式, 当然以前版本也支持一个对于iceberg 表的copy into
create TABLE s3.datas.demoapp (name VARCHAR)

COPY INTO s3.datas.demoapp(name)
    FROM (SELECT name FROM '@s3/datas/name-demo.csv')
    FILE_FORMAT   'csv'
  • docker 默认镜像调整了分布式存储配置,这样启动就可以使用反射能力了(以前版本需要自己配置)
paths: {
  # the local path for dremio to store data.
  local: ${DREMIO_HOME}"/data"

  # the distributed path Dremio data including job results, downloads, uploads, etc.
  # this value needs to be updated for Dremio to function properly.
  dist: "file://"${paths.local}"/pdfs"
}

一些变动

这次算是一个大版本,issue 是有不少修复,但是对于反射目前也是限制不少(比如目前限制了反射数量最大为500),当然不少参数是可以通过支持key 修改的,具体可以通过sys.options 这张系统表查看

说明

26 算是一个大版本,变化以及优化是不少的,目前社区版源码暂时为提供,可以先试用

参考资料

https://docs.dremio.com/current/release-notes/version-260-release

https://docs.dremio.com/current/client-applications/drivers/arrow-flight-sql-jdbc-driver/#parameterized-queries-with-prepared-statements

https://docs.dremio.com/current/developer/data-formats/apache-iceberg/copy-into-transformations/

https://docs.dremio.com/current/reference/sql/commands/show-table-properties/

https://docs.dremio.com/current/reference/sql/commands/apache-iceberg-tables/vacuum-table/

https://docs.dremio.com/current/reference/sql/commands/apache-iceberg-tables/copy-into-table/

https://docs.dremio.com/current/reference/sql/commands/SELECT-statements/

https://docs.dremio.com/current/help-support/limits/

posted on 2025-04-30 16:48  荣锋亮  阅读(149)  评论(0)    收藏  举报

导航