SpringBoot-Learning系列之Kafka整合

本系列是一个独立的SpringBoot学习系列，本着 What Why How 的思想去整合Java开发领域各种组件。

• 消息系统

  • 主要应用场景
    • 流量消峰(秒杀 抢购)、应用解耦（核心业务与非核心业务之间的解耦）
    • 异步处理、顺序处理
    • 实时数据传输管道
    • 异构语言架构系统之间的通信
      • 如 C语言的CS客户端的HIS系统与java语言开发的互联网在线诊疗系统的交互

• Kafka是什么

  kafka是一个消息队列产品，基于Topic partitions的设计，能达到非常高的消息发送处理性能。是java领域常用的消息队列。

  核心概念：

  • 生产者（Producer） 生产者应用向主题队列中投送消息数据
  • 消费者 (Consumer) 消费者应用从订阅的Kafka的主题队列中获取数据、处理数据等后续操作
  • 主题 (Topic) 可以理解为生产者与消费者交互的桥梁
  • 分区 (Partition) 默认一个主题有一个分区，用户可以设置多个分区。每个分区可以有多个副本（Replica）。分区的作用是，将数据划分为多个小块，提高并发性和可扩展性。每个分区都有一个唯一的标识符，称为分区号。消息按照键(key)来进行分区，相同键的消息会被分配到同一个分区中。分区可以有不同的消费者同时消费。副本的作用是提供数据的冗余和故障恢复。每个分区可以有多个副本，其中一个被称为领导者(leader)，其他副本被称为追随者(follower)。领导者负责处理读写请求，而追随者只负责复制领导者的数据。如果领导者宕机或不可用，某个追随者会被选举为新的领导者，保证数据的可用性。

• windows 安装kafka

  本地环境DockerDeskTop+WSL2，基于Docker方式安装Kafka

  2.8.0后不需要依赖zk了

  • 拉取镜像

    docker pull wurstmeister/zookeeper
    
    docker pull wurstmeister/kafka
    

  • 创建网络

    docker network create kafka-net --driver bridge
    

  • 安装zk

    docker run --net=kafka-net --name zookeeper -p 21810:2181 -d wurstmeister/zookeeper
    

  • 安装kafka

    docker run -d --name kafka --publish 9092:9092 \
    --link zookeeper \
    --env KAFKA_ZOOKEEPER_CONNECT=172.31.192.1:2181 \
    --env KAFKA_ADVERTISED_HOST_NAME=172.31.192.1 \
    --env KAFKA_ADVERTISED_PORT=9092  \
    --volume /etc/localtime:/etc/localtime \
    wurstmeister/kafka:latest
    

  • 测试

    telnet localhost:9092
    

• SpringBoot集成

  SpringBoot3.1.0+jdk17

  • pom依赖

    								```
    										<?xml version="1.0" encoding="UTF-8"?>
    										<project xmlns="http://maven.apache.org/POM/4.0.0"
    														 xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    														 xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    												<modelVersion>4.0.0</modelVersion>
    												<parent>
    														<groupId>org.springframework.boot</groupId>
    														<artifactId>spring-boot-starter-parent</artifactId>
    														<version>3.1.0</version>
    														<relativePath/> <!-- lookup parent from repository -->
    												</parent>
    												<groupId>io.github.vino42</groupId>
    												<artifactId>springboot-kafka</artifactId>
    												<version>1.0-SNAPSHOT</version>
    
    												<properties>
    														<java.version>17</java.version>
    														<maven.compiler.source>17</maven.compiler.source>
    														<maven.compiler.target>17</maven.compiler.target>
    														<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    												</properties>
    
    
    												<dependencies>
    														<dependency>
    																<groupId>org.projectlombok</groupId>
    																<artifactId>lombok</artifactId>
    																<optional>true</optional>
    														</dependency>
    														<dependency>
    																<groupId>org.springframework.boot</groupId>
    																<artifactI