afka 的消费者只需要做以下几件事：
- 订阅一个或多个主题（topic），并加入一个消费者组（consumer group）。
向群组协调器（group coordinator）发送心跳，表明自己还活着，并参与分区再均衡（partition rebalance）。
- 向分区所在的代理（broker）发送拉取请求（fetch request），获取消息数据。
- 提交自己消费到的偏移量（offset），以便在出现故障时恢复消费位置。
可以看到，Kafka 的消费者并不需要保存消息数据，也不需要对消息进行确认或回复，也不需要处理重试或重复的问题。这些都由服务器端来负责。Kafka 的消费者只需要关注如何从服务器获取数据，并进行业务处理即可。
6. 未刷新的缓冲写入
Kafka 在写入数据时，使用了一种未刷新（flush）的缓冲写入技术，即它不会立即将数据写入硬盘，而是先写入内存缓存中，然后由操作系统在适当的时候刷新到硬盘上。这样做的好处是可以提高写入速度，减少磁盘 I/O 的开销。
Kafka 利用了操作系统提供的内存映射文件（memory mapped file）功能，将文件映射到内存中，使得对文件的读写操作就相当于对内存的读写操作。这样就避免了用户空间和内核空间之间的数据拷贝，也避免了系统调用的开销。
当生产者向 Kafka 发送消息时，Kafka 会将消息追加到内存映射文件中，并返回一个确认给生产者。此时消息并没有真正写入硬盘，而是由操作系统负责将内存中的数据刷新到硬盘上。操作系统会根据一些策略来决定何时刷新数据，例如定期刷新、缓存满了刷新、系统空闲时刷新等。
当然，这种技术也有一定的风险，即如果操作系统在刷新数据之前发生崩溃或断电，那么内存中未刷新的数据就会丢失。为了解决这个问题，Kafka 提供了一些参数来控制刷新策略，例如：
- log.flush.interval.messages：指定多少条消息后强制刷新数据。
- log.flush.interval.ms：指定多少毫秒后强制刷新数据。
- producer.type：指定生产者是同步还是异步模式。同步模式下，生产者会等待服务器刷新数据后再返回确认；异步模式下，生产者不会等待服务器刷新数据，而是立即返回确认。
7. GC 优化
Kafka 作为一个 Java 编写得高性能的分布式消息系统，它需要处理大量的数据读写和网络传输。这些操作都会涉及到 Java 虚拟机（JVM）的内存管理和垃圾回收（GC）机制。如果 GC 不合理或不及时，就会导致 Kafka 的性能下降，甚至出现内存溢出或频繁的停顿。为了帮助使用者优化 GC，Kakfa 有如下建议。
堆内存大小
堆内存是 JVM 用来存储对象实例的内存区域，它会受到 GC 的管理和回收。堆内存的大小会影响 Kafka 的性能和稳定性，如果堆内存太小，就会导致频繁的 GC，影响吞吐量和延迟；如果堆内存太大，就会导致 GC 时间过长，影响响应速度和可用性。
通常来说，Kafka 并不需要设置太大的堆内存，因为它主要依赖于操作系统的文件缓存（page cache）来缓存和读写数据，而不是将数据保存在堆内存中。因此 Kafka 建议将堆内存大小设置为 4GB 到 6GB 之间。
堆外内存大小
堆外内存是 JVM 用来存储非对象实例的内存区域，它不会受到 GC 的管理和回收。堆外内存主要用于网络 I/O 缓冲区、直接内存映射文件、压缩库等。
Kafka 在进行网络 I/O 时，会使用堆外内存作为缓冲区，以减少数据在用户空间和内核空间之间的拷贝。同时，Kafka 在进行数据压缩时，也会使用堆外内存作为临时空间，以减少 CPU 资源的消耗。
因此，堆外内存对于 Kafka 的性能也很重要，如果堆外内存不足，就会导致缓冲区分配失败或压缩失败，影响吞吐量和延迟。通常来说，Kafka 建议将堆外内存大小设置为 8GB 左右。
GC 算法和参数
GC 算法是 JVM 用来回收无用对象占用的堆内存空间的方法，它会影响 Kafka 的停顿时间和吞吐量。GC 算法有多种选择，例如串行 GC、并行 GC、CMS GC、G1 GC 等。
不同的 GC 算法有不同的优缺点和适用场景，例如串行 GC 适合小型应用和低延迟场景；并行 GC 适合大型应用和高吞吐量场景；CMS GC 适合大型应用和低停顿时间场景；G1 GC 适合大型应用和平衡停顿时间和吞吐量场景等。
通常来说，Kafka 建议使用 G1 GC 作为默认的 GC 算法，因为它可以在保证较高吞吐量的同时，控制停顿时间在 200ms 以内。同时，Kafka 还建议根据具体情况调整一些 GC 参数，例如：
- -XX:MaxGCPauseMillis：指定最大停顿时间目标，默认是 200ms。
- -XX:InitiatingHeapOccupancyPercent：指定触发并发标记周期的堆占用百分比，默认是 45%。
- -XX:G1ReservePercent：指定为拷贝存活对象预留的空间百分比，默认是 10%。
- -XX:G1HeapRegionSize：指定每个堆区域的大小，默认是 2MB。
本文参考
总结
最后感谢大家阅读，希望本文能对你有所帮助.
关注公众号【waynblog】每周分享技术干货、开源项目、实战经验、高效开发工具等，您的关注将是我的更新动力！