首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >CKafka 磁盘水位到 75% 后,动态保留和自动扩容该如何取舍?

问CKafka 磁盘水位到 75% 后,动态保留和自动扩容该如何取舍?

提问于 2026-11-22 10:07:26
回答 1关注 0查看 14

场景:CKafka 专业版(固定存储),订单 Topic 12 分区、3 副本,retention.ms 为 3 天,对账按这个窗口回放。消费端 auto.offset.reset=latest,组一直在提交位点。下游写云数据库 MySQL,最早未消费消息已超过 6 小时。磁盘使用百分比(各节点平均值)两小时内从约 40% 涨到 78%。

现象:

  1. 上周磁盘写满时,生产端配了 acks=all、min.insync.replicas=2,回调仍拿不到 partition 和 offset,消费拉取同时失败。临时把保留时间改成 1 天,水位降了,1 天前的消息随后查不到,对账对不上。现已改回 3 天。
  2. 这次还没写满。可观测平台建议的磁盘告警是 1 分钟周期、大于 80% 持续 5 个周期,78% 还没响;水位策略默认 75% 就触发。位点仍在提交,担心日志先被删掉。

已尝试:

  1. 消费实例从 4 个扩到 8 个,消费者数仍小于 12 个分区,瓶颈在 MySQL 写入,堆积短时间降不到 6 小时以内。
  2. 弹性伸缩里动态消息保留和磁盘自动扩容不能同时开。动态保留默认是到 75% 后把保留时间向前调 10%,保底默认 6 小时,可设 1 分钟到 30 小时,调到保底后不再触发。自动扩容默认 75% 扩 10%,步长 100GB,有延迟,短时间猛增不保证写满前完成。下周有迁移变配,期间自动扩容可能失效,还没开。

问题:

  1. 保底最高 30 小时,盖不住 3 天回放,也不一定盖得住还在涨的堆积。调到保底就不再删的话,磁盘仍高于 75% 时是不是只能写满?位点落进被删分片后,auto.offset.reset=latest 会不会把缺口直接跳过?
  2. 两小时从 40% 到 78%,自动扩容的延迟和 100GB 步长赶得上吗?扩到实例规格磁盘上限后不再扩,生产和消费会不会再同时不可用?变配空窗该手动升配顶上,还是提前缩短保留时间?

回答

和开发者交流更多问题细节吧,去 写回答
相关文章

相似问题

相关问答用户
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档