摘要: 下图是RocksDB的工作流程,一共进行三个步骤, ①将数据写入内存中的活跃表 Active MenTable ②将活跃表转化成只读表 ReadOnlyMemTable ③将只读表flush到本地磁盘上 LocalDish 具体调优方法 ①增大整块缓存,减小刷写的频率。 该块内存为flink的管理内 阅读全文
posted @ 2022-04-14 23:13 肥仔佳文猪 阅读(1575) 评论(0) 推荐(1)
摘要: 压测合理并行度的方法: ①获得高峰期的qps,如每秒5w条 ②消费该高峰期的数据,达到反压状态后查看每秒处理的数据量y,就是单并行度的处理上限 ③x除以y,增加一点富余: 乘以1.2,就是合理的并行度。 在flink中,设置并行度的地方有: ①配置文件 ②提交任务时的参数 ③代码env ④代码算子 阅读全文
posted @ 2022-04-14 22:03 肥仔佳文猪 阅读(3770) 评论(0) 推荐(0)