设为首页 加入收藏

TOP

kafka 配置文件 server.propeties参数
2019-05-02 02:31:46 】 浏览:50
Tags:kafka 配置 文件 server.propeties 参数

基础配置:

broker.id

Broker的ID,每个broker必须又有唯一的值。

delete.topic.enable

Topic是否删除过期日志的开关,默认关闭。

Socket服务器配置:

listeners

Socket服务器监听的地址,如果没有设置,则监听java.net.InetAddress.getCanonicalHostName()返回的地址。

格式为: listeners = listener_name://hostname:port

例如: listeners = PLAINTEXT://your.host.name:9092

advertised.listeners

broker通知到producers和consumers的主机地址和端口号。如果未设置,使用listeners的配置。否则,使用java.net.InetAddress.getCanonicalHostName()返回的值。

listeners.security.protocol.map = PLAINTEXT:PLAINTEXT,SSL:SSL,SASL_PLAINTEXT:SASL_PLAINTEXT,SASL_SSL:SASL_SSL,

listener名称到安全协议。默认所有的listener使用相同的安全协议。

num.network.thread = 3

服务器用来从网络接收请求和发送响应数据到网络的线程数。

num.io.thread = 8

服务器用来处理请求的线程数,可能包含磁盘I/O的线程。

socket.send.buffer.bytes = 102400

服务器发送数据的缓存大小。

socket.receive.buffer.bytes = 102400

服务器接收数据的缓存大小。

socket.request.max.bytes = 104857600

socket服务器接收的单个request大小的最大值。

Log 基本设置:

log.dirs = /tmp/kafka-logs

Kafka存储log文件的目录,多个目录用逗号分隔。

num.partitions = 1

topic的默认分割的分区个数。多分区允许消费者并行获取数据,但这也会造成brokers交叉保存多个文件。

num.recovery.threads.per.data.dir = 1

当Kafka启动时恢复数据和关闭时保存数据到磁盘时使用的线程个数。

offsets.topic.replication.factor=1

transaction.state.log.replication.factor=1

transaction.state.log.min.isr=1

副本个数。除了开发测试外,其他情况都建议将该值设置为大于1的值以保证高可用,比如:3。

Log持久化策略:

Message会立即写入到文件系统。但我们只使用了fsync()方法,该操作并不会立即执行OS的写入磁盘操作。

下面几个参数可以配置写入磁盘的策略。

log.flush.interval.messages = 10000

在持久化到磁盘前message最大接收条数。

log.flush.interval.ms = 1000

持久化的最大时间间隔。

Log保留策略:

下面的参数配置如何处理log分片。可以配置为删除超过指定时间的数据,或超过指定大小的数据。

如果一个segment符合其中任意调节,就会被删除。

log.retention.hours = 168

将已保存超过7天的数据删除。

log.retention.bytes = 1073741824

基于数据大小的log保存策略。当分片的大小超过该值时,就会被删除。改功能不依赖于log.retention.hours。

log.segment.bytes = 1073741824

单个分片的上限,达到该大小后会生成新的日志分片。

log.retention.check.interval.ms = 300000

日志分片的检测时间间隔,每隔该事件会根据log保留策略决定是否删除log分片。

Zookeeper配置:

zookeeper.connect = localhost:2181

Zookeeper连接字符串。是一个使用逗号分隔的host:port字符串。

zookeeper.connection.timeout.ms = 6000

连接zookeeper的超时时间。

消费者分组协调者设置:

group.initial.rebalance.delay.ms = 0

在开发测试环境下该值设置为0,保证启动后马上可以使用。但在生产环境下,默认值3秒更适合。

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇转载:如何管理kafka偏移量(一) 下一篇关于 springboot 集成 kafka 单机..

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目