Flink RocksDB参数调优说明
|
参数名 |
说明 |
|
state.backend.rocksdb.block.blocksize |
block 的大小，默认值为4KB。在生产环境中总是会适当调大一些，一般32KB比较合适，对于机械硬盘可以再增大到128~256KB，充分利用其顺序读取能力。但是需要注意，如果 block 大小增大而 block cache 大小不变，那么缓存的 block 数量会减少，无形中会增加读放大 (建议调整) |
|
state.backend.rocksdb.block.cache-size |
block cache 的大小，默认为8MB。由上文所述的读写流程可知，较大的 block cache 可以有效避免热数据的读请求落到 sstable 上，若内存余量充足，建议设置到256MB以上，如果state操作频繁，数据量较大，可以设置更大，读性能会有非常明显的提升(建议调整) |
|
state.backend.rocksdb.compaction.level.max-size-level-base |
L1层的数据总大小阈值，默认值为256MB。每向上提升一级，阈值会乘以因子 max_bytes_for_level_multiplier（默认值为10）。由于上层的大小阈值都是以它为基础推算出来的，所以要小心调整。建议设为 target_file_size_base 的倍数，且不能太小，例如5~10倍 |
|
state.backend.rocksdb.compaction.level.target-file-size-base |
L1层单个 sstable 文件的大小阈值，默认值为64MB。每向上提升一级，阈值会乘以因子 target_file_size_multiplier（但默认为1，即每级sstable最大都是相同的）。显然，增大此值可以降低 compaction 的频率，减少写放大，但是也会造成旧数据无法及时清理，从而增加读放大。此参数不太容易调整，一般不建议设为256MB以上 |
|
state.backend.rocksdb.compaction.level.use-dynamic-size |
这个参数之前讲过。当开启之后，上述阈值的乘法因子会变成除法因子，能够动态调整每层的数据量阈值，使得较多的数据可以落在最高一层，能够减少空间放大，整个 LSM Tree 的结构也会更稳定，对于机械硬盘的环境，建议开启 |
|
state.backend.rocksdb.compaction.style |
compaction 算法，使用默认的 LEVEL（即 leveled compaction）即可 |
|
state.backend.rocksdb.files.open |
是 RocksDB 实例能够打开的最大文件数，默认为-1，表示不限制。由于sstable的索引和布隆过滤器默认都会驻留内存，并占用文件描述符，所以如果此值太小，索引和布隆过滤器无法正常加载，就会严重拖累读取性能 |
|
state.backend.rocksdb.thread.num |
后台负责 flush 和 compaction 的最大并发线程数，默认为1。注意 Flink 将这两个参数合二为一处理（对应 DBOptions.setIncreaseParallelism() 方法），鉴于 flush 和 compaction 都是相对重的操作，如果 CPU 余量比较充足，建议调大，一般设为3-4 |
|
state.backend.rocksdb.write-batch-size |
允许指定 RocksDB 批量写入时占用的最大内存量，默认为 2m，如果设置为 0 的话就会自动根据任务量进行调整。这个参数如果没有特别的需求，可以不调整 |
|
state.backend.rocksdb.writebuffer.count |
memtable 的最大数量（包含活跃的和不可变的），默认是2。当全部 memtable 都写满但是 flush 速度较慢时，就会造成写停顿，所以如果内存充足或者使用的是机械硬盘，建议适当调大这个参数，如4(建议调整) |
|
state.backend.rocksdb.writebuffer.number-to-merge |
在 flush 发生之前被合并的 memtable 最小数量，默认是1。举个例子，如果此参数设为2，那么当有至少两个不可变 memtable 时，才有可能触发 flush（亦即如果只有一个不可变 memtable，就会等待）。调大这个值的好处是可以使更多的更改在 flush 前就被合并，降低写放大，但同时又可能增加读放大，因为读取数据时要检查的 memtable 变多了。经测试，该参数设为2或3相对较好(建议调整) |
|
state.backend.rocksdb.writebuffer.size |
单个 memtable 的大小，默认是64MB。当 memtable 大小达到此阈值时，就会被标记为不可变。一般来讲，适当增大这个参数可以减小写放大带来的影响，但同时会增大 flush 后 L0、L1 层的压力，所以还需要配合修改 compaction 参数(建议调整) |
|
taskmanager.memory.managed.fraction |
托管内存占Flink总内存的比例，默认0.4 |
|
taskmanager.memory.managed.size |
托管内存的大小，无默认值，一般也不指定，而是依照上述比例来推定，更加灵活 (注意) |
参考：
https://www.jianshu.com/p/96364463c831
