dremio Source [__jobResultsStore] was updated, and the given configuration has older ctime (current: xxxxxx, given: xxx) 解决方法
此问题是在进行dremio 元数据迁移的时候碰到的,核心是以前使用的本地存储作为分布式存储,但是新的调整为了s3 ,机制上应该问题不大,但是实际碰到了问题,就是标题的问题,查询不能执行
解决方法
首先需要了解dremio backup 以及restore 的机制,实际上就是对于kv的数据备份以及恢复(当然新版本还有一个security)同时为了进行check,dremio 对于不用类型的备份会有一个crc check,此文件默认是隐藏文件,但是如果你直接修改了备份数据,crc 就会check,有一个小技巧就是你可以参数crc 文件,这样就不check 了,你就可以直接修改kv 信息了,所以解决方法就很简单了,通过备份,然后修改dac 中__jobResultsStore kv 配置信息,让dremio 启动的时候重新创建,这样结果记录的存储插件就使用新的了
- 备份处理
bin/dremio-admin backup -d <path> -u xxxx -p xxx -j
- 修改__jobResultsStore 存储插件的配置
dac-namespace_backup.json 文件,同时推荐将那些__accelerator,__nodehistory,sys,__metadata,__nodehistory 等系统的也删除,注意隐藏文件.dac-namespace_backup.json.crc 也应该删除
{"key":"\"\"\u0000\u0000\"\"__jobresultsstore","value":"{\"fullPath\
说明
以上是一个在实际碰到的一个问题,核心是对于使用到的分布式存储调整引起的,我们可以通过backup,restore 的模式进行数据调整解决