Kafka水位是什么

本文主要介绍"Kafka水位是什么",希望能够解决您遇到有关问题,下面我们一起来看这篇 "Kafka水位是什么" 文章。

什么是水位

kafka中用水位来描述,
一个分区中的可见数据的offset。
大概你需要知道这几点:

  1. hw(水位)你可以理解成是一个全局(所有副本最小offset)的offset,
    针对的是一个分区

  2. LEO代表着该副本的所有消息的最大offset,
    针对的是一个副本,也就是每个副本都有LEO,并且不一样。
    其中所有副本中最小的LEO就是水位

Kafka水位是什么  

水位

为什么要水位?

为了保障数据的一致性

Kafka中水位的运作

当 Leader收到一条消息并写入成功,
其LEO则和马上 +1.
副本会定期去和Leader进行同步,
每同步一个消息,其自己的LEO相应+1,
而水位则是所有副本最小的LEO,
所以也会慢慢进行增加。

  • 和ACK的关系
    其实没有必然的关系,
    ACK是用来保证数据不丢失的,
    而 hw 是用来保证客户端消费的一致性的,
    不过当ACK=-1,
    因为会等到数据完全写入到所有副本,
    才能返回成功,
    也就是说所有副本的LEO都 +1,
    其水位必然也会 +1,
    这个时候就可以避免数据丢失了。
    否则则会存在数据丢失的风险

  • 为什么ACK != -1 数据就可能丢失
    比如一个分区,四个副本1,2,3,4:
    1:LEO = 10(Leader)
    2:LEO = 8
    3:LEO = 7
    4:LEO = 6
    此时 hw = 6,
    当1 号Leader挂掉了,
    3号当选了新Leader,
    则所有存活副本首先会将hw之外的所有数据清除,
    然后从Leader同步水位之后的数据
    比如2号副本:
    先清除本身数据7,8,LEO变成6,
    然后去Leader同步6之后的数据,
    哪怕老Leader1号恢复了,6-10号数据还在,
    也需要将宕机时候的hw之后的数据全部清除,
    重新从Leader同步数据

关于 "Kafka水位是什么" 就介绍到这。希望大家多多支持编程宝库

如何分析缓存原理与微服务缓存自动管理:本文主要介绍"怎么分析缓存原理与微服务缓存自动管理",希望能够解决您遇到有关问题,下面我们一起来看这篇 "怎么分析缓存原理与微服务缓存自动管理" 文章。为什么需要缓存?先从一个老生常谈的问题开始谈起:我 ...