1回复
3年前
kafka 消息堆积过久未消费,开启消费后堆积突然增大
问题描述:
我们的系统早上八点开始来了一批数据,但是由于kafka消费未启动,一直没有发现,导致消息一直堆积着到了下午三四点,发现了之后我们立马开启了消费,但是消息堆积量突然暴增了,排查了生产者端,发现生产者并未在此时发送过任何消息,证明问题出现在消费者端,好像是偏移量突然被回退了很多,请问这种是kafka里面的什么机制么?
积压情况如下:
关联了该问题的文章:
5526 阅读
问题描述:
我们的系统早上八点开始来了一批数据,但是由于kafka消费未启动,一直没有发现,导致消息一直堆积着到了下午三四点,发现了之后我们立马开启了消费,但是消息堆积量突然暴增了,排查了生产者端,发现生产者并未在此时发送过任何消息,证明问题出现在消费者端,好像是偏移量突然被回退了很多,请问这种是kafka里面的什么机制么?
积压情况如下: