场景:CKafka 专业版(固定存储),订单 Topic 12 分区、3 副本,retention.ms 为 3 天,对账按这个窗口回放。消费端 auto.offset.reset=latest,组一直在提交位点。下游写云数据库 MySQL,最早未消费消息已超过 6 小时。磁盘使用百分比(各节点平均值)两小时内从约 40% 涨到 78%。
现象:
- 上周磁盘写满时,生产端配了
acks=all、min.insync.replicas=2,回调仍拿不到 partition 和 offset,消费拉取同时失败。临时把保留时间改成 1 天,水位降了,1 天前的消息随后查不到,对账对不上。现已改回 3 天。 - 这次还没写满。可观测平台建议的磁盘告警是 1 分钟周期、大于 80% 持续 5 个周期,78% 还没响;水位策略默认 75% 就触发。位点仍在提交,担心日志先被删掉。
已尝试:
- 消费实例从 4 个扩到 8 个,消费者数仍小于 12 个分区,瓶颈在 MySQL 写入,堆积短时间降不到 6 小时以内。
- 弹性伸缩里动态消息保留和磁盘自动扩容不能同时开。动态保留默认是到 75% 后把保留时间向前调 10%,保底默认 6 小时,可设 1 分钟到 30 小时,调到保底后不再触发。自动扩容默认 75% 扩 10%,步长 100GB,有延迟,短时间猛增不保证写满前完成。下周有迁移变配,期间自动扩容可能失效,还没开。
问题:
- 保底最高 30 小时,盖不住 3 天回放,也不一定盖得住还在涨的堆积。调到保底就不再删的话,磁盘仍高于 75% 时是不是只能写满?位点落进被删分片后,
auto.offset.reset=latest 会不会把缺口直接跳过? - 两小时从 40% 到 78%,自动扩容的延迟和 100GB 步长赶得上吗?扩到实例规格磁盘上限后不再扩,生产和消费会不会再同时不可用?变配空窗该手动升配顶上,还是提前缩短保留时间?