1. 树叶云首页
  2. 技术资讯

Kafka运维 | 你真的懂数据迁移吗？

运维••技术资讯

Kafka运维 | 你真的懂数据迁移吗？

作者：石臻臻 2021-08-30 15:41:13

运维

系统运维

Kafka 在进行分区副本重分配之前,最好是用下面方式获取一个合理的分配文件; 编写move-json-file.json文件; 这个文件就是告知想对哪些Topic进行重新分配的计算。

 [[420468]]

本篇文章讲解以下内容

【kafka运维】副本扩缩容、数据迁移、副本重分配、副本跨路径迁移

脚本参数

参数描述例子 
--zookeeper连接zk--zookeeper localhost:2181, localhost:2182 
--topics-to-move-json-file指定json文件,文件内容为topic配置

--topics-to-move-json-file config/move-json-file.json Json文件格式如下:

 
--generate尝试给出副本重分配的策略,该命令并不实际执行  
--broker-list指定具体的BrokerList,用于尝试给出分配策略,与--generate搭配使用--broker-list 0,1,2,3 
--reassignment-json-file指定要重分配的json文件,与--execute搭配使用

json文件格式如下例如:

 
--execute开始执行重分配任务,与--reassignment-json-file搭配使用  
--verify验证任务是否执行成功,当有使用--throttle限流的话,该命令还会移除限流;该命令很重要,不移除限流对正常的副本之间同步会有影响  
--throttle迁移过程Broker之间现在流程传输的速率,单位 bytes/sec-- throttle 500000 
--replica-alter-log-dirs-throttlebroker内部副本跨路径迁移数据流量限制功能，限制数据拷贝从一个目录到另外一个目录带宽上限 单位 bytes/sec--replica-alter-log-dirs-throttle 100000 
--disable-rack-aware关闭机架感知能力,在分配的时候就不参考机架的信息  
--bootstrap-server如果是副本跨路径迁移必须有此参数  

 1. 脚本的使用介绍

该脚本是kafka提供用来重新分配分区的脚本工具;

1.1 生成推荐配置脚本

关键参数–generate

在进行分区副本重分配之前,最好是用下面方式获取一个合理的分配文件; 编写move-json-file.json文件; 这个文件就是告知想对哪些Topic进行重新分配的计算

  1. { 
  2.   "topics": [ 
  3.     {"topic": "test_create_topic1"} 
  4.   ], 
  5.   "version": 1 
  6. } 

然后执行下面的脚本,–broker-list “0,1,2,3” 这个参数是你想要分配的Brokers;

  1. sh bin/kafka-reassign-partitions.sh --zookeeper xxx:2181 --topics-to-move-json-file config/move-json-file.json --broker-list "0,1,2,3" --generate 

执行完毕之后会打印

  1. Current partition replica assignment//当前副本分配方式 
  2. {"version":1,"partitions":[{"topic":"test_create_topic1","partition":2,"replicas":[1],"log_dirs":["any"]},{"topic":"test_create_topic1","partition":1,"replicas":[3],"log_dirs":["any"]},{"topic":"test_create_topic1","partition":0,"replicas":[2],"log_dirs":["any"]}]} 
  3.  
  4. Proposed partition reassignment configuration//期望的重新分配方式 
  5. {"version":1,"partitions":[{"topic":"test_create_topic1","partition":2,"replicas":[2],"log_dirs":["any"]},{"topic":"test_create_topic1","partition":1,"replicas":[1],"log_dirs":["any"]},{"topic":"test_create_topic1","partition":0,"replicas":[0],"log_dirs":["any"]}]} 

需求注意的是，此时分区移动尚未开始，它只是告诉你当前的分配和建议。保存当前分配，以防你想要回滚它

1.2. 执行Json文件

关键参数–execute 将上面得到期望的重新分配方式文件保存在一个json文件里面 reassignment-json-file.json

  1. {"version":1,"partitions":[{"topic":"test_create_topic1","partition":2,"replicas":[2],"log_dirs":["any"]},{"topic":"test_create_topic1","partition":1,"replicas":[1],"log_dirs":["any"]},{"topic":"test_create_topic1","partition":0,"replicas":[0],"log_dirs":["any"]}]} 

然后执行

  1. sh bin/kafka-reassign-partitions.sh --zookeeper xxxxx:2181 --reassignment-json-file config/reassignment-json-file.json --execute 

迁移过程注意流量陡增对集群的影响 Kafka提供一个broker之间复制传输的流量限制，限制了副本从机器到另一台机器的带宽上限，当重新平衡集群，引导新broker，添加或移除broker时候，这是很有用的。因为它限制了这些密集型的数据操作从而保障了对用户的影响、 例如我们上面的迁移操作加一个限流选项– throttle 50000000

  1. > sh bin/kafka-reassign-partitions.sh --zookeeper xxxxx:2181 --reassignment-json-file config/reassignment-json-file.json --execute -- throttle 50000000 

在后面加上一个—throttle 50000000 参数, 那么执行移动分区的时候,会被限制流量在50000000 B/s 加上参数后你可以看到

  1. The throttle limit was set to 50000000 B/s 
  2. Successfully started reassignment of partitions. 

需要注意的是,如果你迁移的时候包含 副本跨路径迁移(同一个Broker多个路径)那么这个限流措施不会生效,你需要再加上|–replica-alter-log-dirs-throttle 这个限流参数,它限制的是同一个Broker不同路径直接迁移的限流;

如果你想在重新平衡期间修改限制，增加吞吐量，以便完成的更快。你可以重新运行execute命令，用相同的reassignment-json-file

1.3. 验证

关键参数–verify 该选项用于检查分区重新分配的状态，同时—throttle流量限制也会被移除掉; 否则可能会导致定期复制操作的流量也受到限制。

sh bin/kafka-reassign-partitions.sh –zookeeper xxxx:2181 –reassignment-json-file config/reassignment-json-file.json –verify图片注意: 当你输入的BrokerId不存在时,该副本的操作会失败,但是不会影响其他的;例如图片

2. 副本扩缩

kafka并没有提供一个专门的脚本来支持副本的扩缩, 不像kafka-topic.sh脚本一样,是可以扩分区的; 想要对副本进行扩缩,只能是曲线救国了; 利用kafka-reassign-partitions.sh来重新分配副本

2.1 副本扩容

假设我们当前的情况是 3分区1副本,为了提供可用性,我想把副本数升到2;

2.1.1 计算副本分配方式

我们用步骤1.1的 –generate 获取一下当前的分配情况,得到如下json

  1. { 
  2.     "version": 1, 
  3.     "partitions": [{ 
  4.         "topic": "test_create_topic1", 
  5.         "partition": 2, 
  6.         "replicas": [2], 
  7.         "log_dirs": ["any"] 
  8.     }, { 
  9.         "topic": "test_create_topic1", 
  10.         "partition": 1, 
  11.         "replicas": [1], 
  12.         "log_dirs": ["any"] 
  13.     }, { 
  14.         "topic": "test_create_topic1", 
  15.         "partition": 0, 
  16.         "replicas": [0], 
  17.         "log_dirs": ["any"] 
  18.     }] 
  19. } 

我们想把所有分区的副本都变成2,那我们只需修改”replicas”: []里面的值了,这里面是Broker列表,排在第一个的是Leader; 所以我们根据自己想要的分配规则修改一下json文件就变成如下

  1. { 
  2.     "version": 1, 
  3.     "partitions": [{ 
  4.         "topic": "test_create_topic1", 
  5.         "partition": 2, 
  6.         "replicas": [2,0], 
  7.         "log_dirs": ["any","any"] 
  8.     }, { 
  9.         "topic": "test_create_topic1", 
  10.         "partition": 1, 
  11.         "replicas": [1,2], 
  12.         "log_dirs": ["any","any"] 
  13.     }, { 
  14.         "topic": "test_create_topic1", 
  15.         "partition": 0, 
  16.         "replicas": [0,1], 
  17.         "log_dirs": ["any","any"] 
  18.     }] 
  19. } 

注意log_dirs里面的数量要和replicas数量匹配;或者直接把log_dirs选项删除掉; 这个log_dirs是副本跨路径迁移时候的绝对路径

2.1.2 执行–execute

如果你想在重新平衡期间修改限制，增加吞吐量，以便完成的更快。你可以重新运行execute命令，用相同的reassignment-json-file:

2.1.2 验证–verify

图片完事之后,副本数量就增加了;

2.2 副本缩容

副本缩容跟扩容是一个意思; 当副本分配少于之前的数量时候,多出来的副本会被删除; 比如刚刚我新增了一个副本,想重新恢复到一个副本

执行下面的json文件

  1. { 
  2.   "version": 1, 
  3.   "partitions": [{ 
  4.     "topic": "test_create_topic1", 
  5.     "partition": 2, 
  6.     "replicas": [2], 
  7.     "log_dirs": ["any"] 
  8.   }, { 
  9.     "topic": "test_create_topic1", 
  10.     "partition": 1, 
  11.     "replicas": [1], 
  12.     "log_dirs": ["any"] 
  13.   }, { 
  14.     "topic": "test_create_topic1", 
  15.     "partition": 0, 
  16.     "replicas": [0], 
  17.     "log_dirs": ["any"] 
  18.   }] 
  19. } 

执行之后可以看到其他的副本就被标记为删除了; 一会就会被清理掉

用这样一种方式我们虽然是实现了副本的扩缩容, 但是副本的分配需要我们自己来把控好, 要做到负载均衡等等; 那肯定是没有kafka自动帮我们分配比较合理一点; 那么我们有什么好的方法来帮我们给出一个合理分配的Json文件吗?PS：

我们之前已经分析过【kafka源码】创建Topic的时候是如何分区和副本的分配规则 那么我们把这样一个分配过程也用同样的规则来分配不就Ok了吗?–generate本质上也是调用了这个方法,AdminUtils.assignReplicasToBrokers(brokerMetadatas, assignment.size, replicas.size)

具体的实现操作请看 【kafka思考】最小成本的扩缩容副本设计方案

自己写一个工程来实现类似的方法,如果觉得很麻烦,可以直接使用 LogIKM 的新增副本功能直接帮你做了这个事情;(未来会实现)

3. 分区扩容

kafka的分区扩容是 kafka-topis.sh脚本实现的;不支持缩容 分区扩容请看 【kafka源码】TopicCommand之alter源码解析(分区扩容)

4. 分区迁移

分区迁移跟上面同理, 请看 1.1,1.2,1.3 部分;

5. 副本跨路径迁移

为什么线上Kafka机器各个磁盘间的占用不均匀，经常出现“一边倒”的情形?这是因为Kafka只保证分区数量在各个磁盘上均匀分布，但它无法知晓每个分区实际占用空间，故很有可能出现某些分区消息数量巨大导致占用大量磁盘空间的情况。在1.1版本之前，用户对此毫无办法，因为1.1之前Kafka只支持分区数据在不同broker间的重分配，而无法做到在同一个broker下的不同磁盘间做重分配。1.1版本正式支持副本在不同路径间的迁移

怎么在一台Broker上用多个路径存放分区呢?

只需要在配置上接多个文件夹就行了

  1. ############################# Log Basics ############################# 
  2.  
  3. # A comma separated list of directories under which to store log files 
  4. log.dirs=kafka-logs-5,kafka-logs-6,kafka-logs-7,kafka-logs-8 

注意同一个Broker上不同路径只会存放不同的分区，而不会将副本存放在同一个Broker; 不然那副本就没有意义了(容灾)

怎么针对跨路径迁移呢?

迁移的json文件有一个参数是log_dirs; 默认请求不传的话 它是”log_dirs”: [“any”] (这个数组的数量要跟副本保持一致) 但是你想实现跨路径迁移,只需要在这里填入绝对路径就行了,例如下面

迁移的json文件示例

  1. { 
  2.   "version": 1, 
  3.   "partitions": [{ 
  4.     "topic": "test_create_topic4", 
  5.     "partition": 2, 
  6.     "replicas": [0], 
  7.     "log_dirs": ["/Users/xxxxx/work/IdeaPj/source/kafka/kafka-logs-5"] 
  8.   }, { 
  9.     "topic": "test_create_topic4", 
  10.     "partition": 1, 
  11.     "replicas": [0], 
  12.     "log_dirs": ["/Users/xxxxx/work/IdeaPj/source/kafka/kafka-logs-6"] 
  13.   }] 
  14. } 

然后执行脚本

  1. sh bin/kafka-reassign-partitions.sh --zookeeper xxxxx --reassignment-json-file config/reassignment-json-file.json --execute --bootstrap-server 
  2. xxxxx:9092 --replica-alter-log-dirs-throttle 10000 

注意 –bootstrap-server 在跨路径迁移的情况下,必须传入此参数

如果需要限流的话 加上参数|–replica-alter-log-dirs-throttle ; 跟–throttle不一样的是 –replica-alter-log-dirs-throttle限制的是Broker内不同路径的迁移流量;

源码解析

源码解析请看文章 【kafka源码】ReassignPartitionsCommand源码分析(副本扩缩、数据迁移、分区重分配、副本跨路径迁移)

视频链接：https://mp.weixin.qq.com/s/fQ03wpctV1dGnmk1r-xEWA

本文转载自微信公众号「石臻臻的杂货铺」，可以通过以下二维码关注。转载本文请联系石臻臻的杂货铺公众号。

 

 

文章来源网络，作者：运维，如若转载，请注明出处：https://shuyeidc.com/wp/293525.html<

赞 (0)
运维的头像运维
00
上一篇2025-05-20 15:57
下一篇 2025-05-20 15:58

相关推荐

  • 如何制作个人主题技术资讯

    个人主题怎么制作？

    制作个人主题是一个将个人风格、兴趣或专业领域转化为视觉化或结构化内容的过程，无论是用于个人博客、作品集、社交媒体账号还是品牌形象，核心都是围绕“个人特色”展开，以下从定位、内容规划、视觉设计、技术实现四个维度,详细拆解制作个人主题的完整流程，明确主题定位：找到个人特色的核心主题定位是所有工作的起点，需要先回答……

    运维的头像运维
    2025-11-20
    0
  • 如何管理社群营销技术资讯

    社群营销管理关键是什么？

    社群营销的核心在于通过建立有温度、有价值、有归属感的社群，实现用户留存、转化和品牌传播，其管理需贯穿“目标定位-内容运营-用户互动-数据驱动-风险控制”全流程,以下从五个维度展开详细说明：明确社群定位与目标社群管理的首要任务是精准定位，需明确社群的核心价值（如行业交流、产品使用指导、兴趣分享等）、目标用户画像……

    运维的头像运维
    2025-11-20
    0
  • 香港公司如何网站备案技术资讯

    香港公司网站备案需要什么材料？

    香港公司进行网站备案是一个涉及多部门协调、流程相对严谨的过程，尤其需兼顾中国内地与香港两地的监管要求，由于香港公司注册地与中国内地不同，其网站若主要服务内地用户或使用内地服务器，需根据服务器位置、网站内容性质等，选择对应的备案路径（如工信部ICP备案或公安备案），以下从备案主体资格、流程步骤、材料准备、注意事项……

    运维的头像运维
    2025-11-20
    0
  • 如何企业上云推广技术资讯

    如何企业上云推广

    企业上云已成为数字化转型的核心战略,但推广过程中需结合行业特性、企业痛点与市场需求，构建系统性、多维度的推广体系，以下从市场定位、策略设计、执行落地及效果优化四个维度，详细拆解企业上云推广的实践路径，精准定位：明确目标企业与核心价值企业上云并非“一刀切”的方案，需先锁定目标客户群体，提炼差异化价值主张，客户分层……

    运维的头像运维
    2025-11-20
    0
  • PS如何设计搜索框技术资讯

    PS设计搜索框的实用技巧有哪些？

    在PS中设计一个美观且功能性的搜索框需要结合创意构思、视觉设计和用户体验考量，以下从设计思路、制作步骤、细节优化及交互预览等方面详细说明，帮助打造符合需求的搜索框，设计前的规划明确使用场景：根据网站或APP的整体风格确定搜索框的调性，例如极简风适合细线条和纯色，科技感适合渐变和发光效果，电商类则可能需要突出搜索……

    运维的头像运维
    2025-11-20
    0

发表回复

您的邮箱地址不会被公开。必填项已用 * 标注