设为首页 加入收藏

TOP

《分布式技术原理与算法解析》学习笔记Day18
2023-07-25 21:42:56 】 浏览:24
Tags:《分布式技术原理与算法解析》 习笔记 Day18

分布式通信:发布订阅

什么是发布订阅?

远程调用的核心是在网络服务层封装了通信协议、序列化、传输等操作,让用户调用远程服务如同进行本地调用一样。

这种通信方式虽然也是设置成异步的,但是因为进程之间是直接交互的,所以当进程比较多时,会导致进程维护通信的复杂度非常高,且一个进程通信接口改变,与其通信的进程都会受到影响。

为了解决这个问题,我们需要设计专门的异步通信模式,包括消息发布订阅和消息队列两种方式。

发布订阅的三要素:

  • 生产者,负责产生数据放到消息中心。
  • 消费者,向消息中心订阅自己感兴趣的消息。
  • 消息中心,当发布者推送数据到消息中心后,消息中心根据消费者订阅情况将数据推送给对应的订阅者。

两种消息系统模式

消息系统包括两种典型模式:

  • 点对点模式,生产者将消息发送到消息中心,然后消费者从消息中心取出对应的消息进行消费,消息被消费后,消息中心不再存储该消息,这样其他消费者无法再消费该消息。点对点模式虽然支持多个消费者,但是一个消息只能被一个消费者消费,不允许重复消费。
  • 发布订阅模式,生产者可以发送消息到消息中心,而消息中心通常以主题(Topic)进行划分,每条消息都会有相应的主题,消息会被存储到自己所属的主题中,订阅该主题的所有消费者都可以获得该消息进行消费。

点对点模式中的一个消息,只能被一个消费者消费,发布订阅模式中的一个消息,可以被多个消费者消费。

发布订阅模式的关键特征:

  • 实现了系统解耦,易于维护。
  • 实现了异步执行,避免高负载。

Kafka发布订阅原理

Kafka是一种典型的发布订阅消息系统,它的架构包括三部分:

  • 生产者(Producer),负责发布消息到消息中心。
  • 消费者(Consumer),向消息中心订阅自己感兴趣的消息,获得数据后进行数据处理。
  • 消息中心(Broker),负责存储生产者发布的消息和管理消费者订阅信息,根据消费者订阅信息,将消息推送给消费者。

Kafka的架构如如下所示。

上图中还包括ZooKeeper集群,它用来协调和管理Broker和Consumer,实现Broker和Consumer的解耦,并未系统提高可靠性保证。Consumer和Broker启动时都会向ZooKeeper进行注册,由ZooKeeper进行统一管理和协调。

ZooKeeper会存储一些元数据信息,比如对于Broker,会存储主题对应哪些分区,每个分区的存储位置等,对于Consumer,会存储xiaofeizu中包含哪些Consumer,每个Consumer回负责消费哪些分区等。

Kafka Broker

为了解决消息存储的负载均衡和系统可靠性,Kafka引入了主题和分区的概念。

主题是一个逻辑概念,指消息类型或者数据类型。

分区指一个主题的内容可以被划分成多个集合,分布在不同的Broker上,不同的Broker在不同的节点上。

分区设计带来的好处:

  1. 实现负载均衡。
  2. 实现消息备份(我们可以设置Replicates)。

Kafka Consumer

Kafka中的消费组,指的是多个消费者的一个集合,一个消费组中的消费者共同消费主题消息,并且主题中每个消息只可以由消费组中的某一个消费者进行消费。

引入消费组可以解决单个消费者消费消息效率过低的问题。

观察者模式和发布订阅模式

观察者负责监控被观察者的状态变更,如果被观察者的状态发生改变,那么观察者根据状态的变更执行相关操作。观察者模式定义了被观察者和观察者的直接交互或者通信关系。

发布订阅模式中存在发布者、订阅者和消息中心,订阅者需要向消息中心指定自己对哪些数据感兴趣,发布者推送的数据放入消息中心后,消息中心根据订阅者订阅信息推送数据。发布者与订阅者之间引入了消息中心,实现的是间接通信。

观察者模式采用了直接通信,观察者与被观察者通信时延低一些,但它们的依赖关系比较强,不管是被观察者还是观察者的逻辑或接口有更改,另外一个都会受到影响。而发布者和订阅者模式采用间接通信,引入消息中心,相对比较厚重,且通信时延高一些,但实现了订阅者和发布者的解耦。

发布订阅中的消息传递模式

发布订阅中的消息传递有两种模式:

  • 拉模式:消费者主动去拉取消息。
  • 推模式:消息中心推送消息给消费者。

推模式中,消息中心需要考虑消费者的消费能力,不能把消费者压垮了,但从消息中心的角度看,这样可以控制消息的消费速度,调控积压消息。

拉模式中,消费者自己控制消息消费速度,但有可能会导致消息中心中消息挤压,会有消息丢失或者消息中心不可用的风险。

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇《RPC实战与核心原理》学习笔记Da.. 下一篇day15-SpringMVC执行流程

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目