• 博客园logo
  • 会员
  • 众包
  • 新闻
  • 博问
  • 闪存
  • 赞助商
  • HarmonyOS
  • Chat2DB
    • 搜索
      所有博客
    • 搜索
      当前博客
  • 写随笔 我的博客 短消息 简洁模式
    用户头像
    我的博客 我的园子 账号设置 会员中心 简洁模式 ... 退出登录
    注册 登录

水底的小鱼鱼

  • 博客园
  • 联系
  • 订阅
  • 管理

公告

View Post

kafka topic重分区

该工具有三种使用模式
generate模式,给定需要重新分配的Topic,自动生成reassign plan(并不执行)
execute模式,根据指定的reassign plan重新分配Partition
verify模式,验证重新分配Partition是否成功
下面这个例子将使用该工具将Topic的所有Partition重新分配到Broker 1,2,3上,步骤如下:
1. 使用generate模式,生成reassign plan

kafka 分区不均处理
1、自动生成重分区的json文件
data/kafka/bin/kafka-reassign-partitions.sh --zookeeper 127.0.0.1:2181 --topics-to-move-json-file /tmp/topics-to-move.json --broker-list "1,2,3" --generate
 

2、生成后的json文件写入到/tmp/reassign-plan.json可能有多条这样的内容需要分配导入导入重分区后的 json文件

data/kafka/bin/kafka-reassign-partitions.sh --zookeeper 127.0.0.1:2181 --reassignment-json-file /tmp/reassign-plan.json --execute 

3验证
/data/kafka/bin/kafka-reassign-partitions.sh --zookeeper 127.0.0.1:2181 --reassignment-json-file /tmp/reassign-plan.json --verify

 

posted on 2021-02-21 17:53  水底的小鱼鱼  阅读(342)  评论(0)    收藏  举报

刷新页面返回顶部
 
博客园  ©  2004-2025
浙公网安备 33010602011771号 浙ICP备2021040463号-3