Starrocks报错 java.sql.SQLException: Failed to load data into tablet 212527, because of too many versions, current/limit: 1006/1000.

报错信息

2025-08-11 03:30:24.234 [10.42.2.210:27777] ERROR 异常 java.sql.SQLException: Failed to load data into tablet 212527, because of too many versions, current/limit: 1006/1000. You can reduce the loading job concurrency, or increase loading data batch size. If you are loading data with Routine Load, you can increase FE configs routine_load_task_consume_second and max_routine_load_batch_size,: be:10.166.150.126: BE:10005.

问题原因

错误原因：某个 tablet (ID: 212527) 的版本数超过了限制（当前 1006，限制 1000）

StarRocks 中每个 tablet 有版本数限制，当数据加载过于频繁或并发度过高时，会导致版本数快速增加。

常见于：

1. 高频小批量数据导入

2. 并发导入任务过多

3. 数据压缩合并速度跟不上导入速度

解决方案

1. 调整导入参数

• 减少并发度：降低同时运行的导入任务数量

• 增大批量大小：增加每次导入的数据量，减少导入频率

  -- 如果是 Routine Load，可以调整以下参数
  ALTER ROUTINE LOAD [db.]job_name
  PROPERTIES (
      "max_batch_interval" = "20",    -- 增加批次间隔(秒)
      "max_batch_rows" = "200000",    -- 增加每批最大行数
      "max_batch_size" = "209715200"  -- 增加每批最大字节数(200MB)
  );

2. 调整 FE 配置

如果是 Routine Load 任务，可以调整以下 FE 配置：

• routine_load_task_consume_second：增加每个任务的消费时间（默认10秒）

• max_routine_load_batch_size：增加每批次最大大小（默认1GB）

3. 调整 BE 配置

可以适当调整 BE 的以下参数（需重启 BE）：

• tablet_max_versions：增加 tablet 最大版本数限制（默认1000）

• cumulative_compaction_min_deltas：降低触发增量压缩的最小版本数

4. 监控与优化

• 检查集群负载情况，确保 compaction 能及时完成

• 监控 be_tablet_compaction 相关指标，确认 compaction 是否滞后

预防措施

1. 合理规划数据导入频率和批量大小

2. 对于高频导入场景，考虑使用 Stream Load 替代 Routine Load

3. 定期监控 tablet 版本数 (SHOW TABLET FROM table_name)

如果问题持续存在，可能需要进一步检查集群资源是否充足（CPU、IO等），或者考虑增加 BE 节点分散负载。